08-05 11:07:15

慕勒9579271

好评

课程的Grok看起来还不错， 我们有大量非结构化的日志需要解析，以前在Logstash中配置Grok解析，但是Logstash性能没办法扩展，用起来还是比较复杂。准备使用Spark做一个自己的Grok数据解析工具，数据源是文件，解析后存到Elasticsearch，老师能提供下实现思路吗？

讲师回复: Grok作为一个通用的数据解析器，非常擅长对复杂的非结构化的数据进行解析。可参考"6-6 业务数据库的数据同步"中配置方式， 使用HOCON格式的配置文件，配置数据源、Grok解析和数据存储，使用Spark加载配置，支持读取任意路径、任意文件格式的数据源， 使用Grok进行解析， 写入任意的ES的索引。以上的思路不知道是否符合你的需求，有任何问题，欢迎跟我交流沟通或通过问答区提问。

旋转

07-27 22:52:32

慕雪6373288

好评

面了几家，都问到了数仓相关的内容，想着系统学一学，目前感觉还行，讲的比较通俗易懂，以前比较模糊的概念，现在也清晰了不少，期待后面得内容有更多的干货

讲师回复: 很高兴对你有帮助，在大数据时代， 数据仓库的重要性是不言而喻的。 不止数据仓库岗位， 数据开发工程师、架构师、分析师等跟数据相关的岗位，对数据仓库也都有相应的要求。 特别是在面对海量并且来源复杂的数据，更需要数据仓库工程师搭好底层框架、做好模型建设， 提升数据仓的性能和易用性。 我们这门课程将体系化的介绍数据仓库， 课程包含了丰富的数据仓库相关案例以及贴近生产实际的项目实践，不仅帮助快速掌握实用的数据仓库技术， 具备提升海量数据处理以及性能优化的能力，也能轻松应对相关面试，一看就是真家伙，有练过的，哈哈。 在学习中遇到什么问题，欢迎交流沟通。

旋转

08-19 20:16:16

Crazy酱汁

好评

课程非常棒,加深了对clickhouse的应用和对数仓构建的理解.还带着一步步迭代代码,非常nice

12-15 14:45:10

慕函数6043023

好评

老师将的很详细，正好需要深入系统的学一学clickhouse

01-16 21:16:16

慕圣0171965

好评

老师很棒，希望老师再开其它大数据课程

08-23 22:48:47

maomaoking

好评

很专业的大数据服务体系建设课程