采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师你好,我想问一下storm里面的各个组件中,在哪个地方创建的对象是会重复创建调用直到storm被kill,哪些地方的对象是初始化之后一直活到storm被kill。比如,我在某一个bolt的开头定义一个集合,往里面放值,那这里面的值是会一直保存到storm被kill还是每次到这个组件所有对象全部重新创建,这个集合重新初始化为空
以storm对接kafka为例来说这事情:只要你的storm读取到了指定的kafka的topic的数据,那么当数据被storm接收到进行处理之后,offset也提交了,那么这条数据的生命周期也就到了。如果你后续出现了问题,你需要从指定的topic的offset去重新消费的话,那么你只要传入这个offset,这些数据又会被重新到storm来处理
那storm的spout和bolt里面的组件里面的那些对象能活多久呢 哪些地方能活到被kill
kafka重复消费的话 说是集成BaseBasicBolt这个会自动提交 或者加上ack 可是加上之后还是会重复消费 这是哪里设置参数还是配置啊
他们不会停的呢,停了还如何发送数据和处理数据
登录后可查看更多问答,登录/注册
深入Storm内部机制,logstash+kafka,快速切入大数据实时流处理
1.0k 15
992 12
1.1k 12
716 11
1.0k 10