原始地址：
这个协议试用0.7.1之后的版本
通过ShellBolt和ShellSpout和ShellProcess类实现了对多中语言的支持
这些类实现了IBolt和ISpout接口，也实现了通过shell使用java的ProcessBuilder类执行脚本或者程序的协议
在java中使用这个协议的时候需要创建继承ShellBolt的的bolt也要使用declareOutputFields声明output fields
一个简单的协议，可以通过能按照JSON格式解码的STDIN和STDOUT描述
这样可以支持绝大多数的语言
要想在集群上运行shell脚本，这个脚本要位于提交的jar包的resources/目录下
但是在本地模式开发和测试的时候，shell资源的地址可以只是在classpath中
- 所有的协议的结束都使用一种line-reading机制，所以确保从输入修剪掉新行，并附加到输出上
- 所有的JSON类型的输入和输出都被任何一行含有end的行终结，确保不要出现在JSON中被解析出来。
下面的一些点事简单的STDIN和STDOUT描述的需要注意的地方
- Initial Handshake
- 初始化握手适合各种类型的shell组件
- 对STDIN:设置一些info
- 这是一个JSON对象，包含配置，PID目录，和一个topo内容
-
{ "conf": { "topology.message.timeout.secs": 3, // 各种的配置信息，可以按照上面的格式去写 }, "pidDir": "...", "context": { "task->component": { "1": "example-spout", "2": "__acker", "3": "example-bolt1", "4": "example-bolt2" }, "taskid": 3, // 下面的设置仅仅试用0.10.0之后的版本 "componentid": "example-bolt" "stream->target->grouping": { "default": { "example-bolt2": { "type": "SHUFFLE"}}}, "streams": ["default"], "stream->outputfields": {"default": ["word"]}, "source->stream->grouping": { "example-spout": { "default": { "type": "FIELDS", "fields": ["word"] } } } "source->stream->fields": { "example-spout": { "default": ["word"] } } } } -
脚本应当能创建出一个名字为PID的空文件，这个文件使得supervisor知道PID可以在随后关闭进程 -
自从0.10.0之后的版本的shell组件能配置的context被提高了，基本上包含了所有的方面的内容，可以被JVM使用。重要的特征是：stream->target->grouping和source->stream->grouping可以分别可以决定输入源和输出目标 - STDOUT:使用{"pid":1234}可以将PID打日志到log中。
- Spouts
- Shell Spout是同步的，要是没有输入就一直在while循环中休息
- 对STDIN
- next是ISpout的nextTuple，这样使用：{"command":"next"}
- ack这样使用{"command":"ack","id":"1231231"}
- fail这样使用{"command":"fail","id":"1231231"}
- 对STDOUT
- 结果可能是发射的东西或者是logs序列
- emit像这样
{ "command": "emit", // The id for the tuple. Leave this out for an unreliable emit. The id can // be a string or a number. "id": "1231231", // The id of the stream this tuple was emitted to. Leave this empty to emit to default stream. "stream": "1", // If doing an emit direct, indicate the task to send the tuple to "task": 9, // All the values in this tuple "tuple": ["field1", 2, 3] } - logs像这样
{ "command": "log", // the message to log "msg": "hello world!" } - 对STDOUT
- 用sync命令去使得发射和打日志停止
{"command": "sync"} - Bolts
- Shell Bolt协议是异步的，一旦STDIN的流可用时候你将收到这个流，你可以在任何时候写到STDOUT上，通过发射，ack,fail,log等
- 对STDIN:是一个tuple但是是JSON类型的tuple
{ // The tuple's id - this is a string to support languages lacking 64-bit precision "id": "-6955786537413359385", // The id of the component that created this tuple "comp": "1", // The id of the stream this tuple was emitted to "stream": "1", // The id of the task that created this tuple "task": 9, // All the values in this tuple "tuple": ["snow white and the seven dwarfs", "field2", 3] } - 对STDOUT:是一个ack,fail,log,或者emit。
- 下面是个emit的例子
{ "command": "emit", // The ids of the tuples this output tuples should be anchored to "anchors": ["1231231", "-234234234"], // The id of the stream this tuple was emitted to. Leave this empty to emit to default stream. "stream": "1", // If doing an emit direct, indicate the task to send the tuple to "task": 9, // All the values in this tuple "tuple": ["field1", 2, 3] } - ack的样子
{ "command": "ack", // the id of the tuple to ack "id": "123123" } - fail的样子
{ "command": "fail", // the id of the tuple to fail "id": "123123" } - log的样子
{ "command": "log", // the message to log "msg": "hello world!" } - Handling Heartbeats（0.9.3之后的版本）
- 在storm0.9.3中，心跳已经被使用在ShellSpout或者ShellBolt和他们的多语言的子进程中，去监测这些子进程的hanging和zombie
- 对于Spout
- 因为是同步的，子进程总是在next()的最后发送sync，所以不用做太多去支持心跳的检测。但是在next()中不能让子进程sleep的时间超过timeout。
- 对于bolt
- 因为是异步的，所以ShellBolt总是定期的发送心跳包，格式如下
{ "id": "-6955786537413359385", "comp": "1", "stream": "__heartbeat", // this shell bolt's system task id "task": -1, "tuple": [] }