flume如何采集系统业务日志呢？

Question

像一般的系统，用户的各种操作请求都有对应的日志记录。可不可以直接让flume采集这些业务日志数据？如果可以那如何采集呢？采集这些文件的内容应该不会有什么性能方面的影响

Answer 1

小简同学 2020-05-16 22:18:03

同学你好

用户的各种操作请求日志都可以使用Flume进行采集，例如nginx，flume就是通过监听nginx的accessLog日志，来进行日志的采集，其他的组件的日志也是通过类似的方法来采集，监听日志文件或监听一个文件夹。

其次是flume有事务机制，所以保证了数据不会丢失，其次通过flume的多级代理，通常我们会使用2级代理，也就将多个的flume采集到的日志，统一流转到下一级的flume , 由这一级的flume统一处理存储等的操作，这是提高flume性能的其中一种做法。

提高flume性能的另一种做法是使用flume自己本身负载均衡机制

以上是我的回答，希望能解决到你的疑问，祝学习愉快！

• 提问者 另另 #1

  非常感谢老师的细致回复！明白！