storm的worker自动重启

Question

老师您好，我想问一下我这个storm它跑着跑着 其中一个worker的进程端口显示worker重启了 然后我的storm就跑到一半不跑了 数据还没计算完。这个是为什么啊？我设置supervisor.worker.timeout.sec = 60 是这个不够吗 日志显示也没啥问题 疑惑不解

Answer 1

Michael_PK 2019-11-29 20:04:28

storm是具备自动重启的功能的，不太确定具体是什么原因呢。你对接的是kafka数据吗？如果是，确认下offset是否都消费完了，如果消费完了那就OK，如果没完，那得定位具体问题了

• 提问者 慕函数7570418 #1

  我消费的是hbase数据，这个worker重启在日志中看不出 在ui界面显示重新运行 。hbase数据他没计算完就重启，然后就不计算了。如果更新hbase的数据，哪怕没有数据更新仅仅是运行一下sqoop任务写入到hbase表他就会重新计算。然后计算一半又不计算了。
  这是里面可疑的日志，其他看着挺正常的
  
  2019-11-29 21:17:46.942 o.a.s.s.o.a.z.ClientCnxn main-SendThread(hadoop03:2181) [INFO] Session establishment complete on server hadoop03 sessionid = 0x30006e5d520d1d3, negotiated timeout = 20000

• 提问者 慕函数7570418 #2

  2019-11-29 21:17:46.942 o.a.s.s.o.a.c.f.s.ConnectionStateManager main-EventThread [INFO] State change: CONNECTED
  2019-11-29 21:17:47.066 o.a.s.s.a.AuthUtils main [INFO] Got AutoCreds []
  2019-11-29 21:17:47.070 o.a.s.d.worker main [INFO] Reading Assignments.
  2019-11-29 21:17:47.168 o.a.s.m.TransportFactory main [INFO] Storm peer transport plugin:org.apache.storm.messaging.netty.Context
  2019-11-29 21:17:47.521 o.a.s.m.n.Server main [INFO] Create Netty Server Netty-server-localhost-6701, buffer_size: 5242880, maxWorkers: 1
  2019-11-29 21:17:47.796 o.a.s.d.worker main [INFO] Registering IConnectionCallbacks for c3197605-36ae-4b90-bb20-464afd0764e1:6701
  2019-11-29 21:17:47.826 o.a.s.m.n.Client main [INFO] creating Netty Client, connecting to hadoop03:6700, bufferSize: 5242880
  2019-11-29 21:17:47.827 o.a.s.s.o.a.c.r.ExponentialBackoffRetry main [WARN] maxRetries too large (300). Pinning to 29
  2019-11-29 21:17:47.837 o.a.s.m.n.Client main [INFO] creating Netty Client, connecting to hadoop02:6700, bufferSize: 5242880
  2019-11-29 21:17:47.837 o.a.s.s.o.a.c.r.ExponentialBackoffRetry main [WARN] maxRetries too large (300). Pinning to 29

• Michael_PK 回复 提问者 慕函数7570418 #3

  最后一句重试次数太大？

点开查看后面4条评论