日志生成问题

Question

运行用python写的日志生成器，有kafka消费时会在控制台中会输出一些结构不完整的日志，用tail命令也会出现

Answer 1

Michael_PK 2020-09-03 13:17:28

那上面有一句话  tail  file truncate的了。  这种即使不规范，那在sparkstreaming对接后，自己etl清洗掉不符合格式要求的日志就可以了

Answer 2

Michael_PK 2018-04-10 18:19:48

日志不规整很正常，生产上很多都是脏的，进去处理引擎后自己把脏数据丢了就行

• 提问者 圣卡西 #1

  我查出原因了，python文件每次输出100条日志，但是kafka或者tail不会输出所有日志，是从中间某个位置开始输出，所以每次输出时，第一条日志就会不完整。请问这种问题正常吗

• Michael_PK 回复 提问者 圣卡西 #2

  不管啥都是正常的，在处理的时候肯定是要过滤的

• 啊大bug 回复 提问者 圣卡西 #3

  这种情况你是咋处理的？