本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前非常火爆的Spark Streaming打造实时流处理项目实战，让你掌握实时处理的整套处理流程，达到大数据中级研发工程师的水平！
处理流程剖析
日志产生器
使用Flume采集日志
将Flume收集到的数据输出到Kafka
Spark Streaming消费Kafka的数据进行统计
Spark Streaming如何高效的读写数据到Hbase
本地测试和生产环境使用的拓展
Java开发Spark要点拓展
日志收集框架Flume
Flume架构及核心组件
Flume&JDK环境部署
Flume实战案例
分布式消息队列Kafka
Kafka架构及核心概念 / Zookeeper安装
Kafka单、多broker部署及使用
Kafka Producer Java API编程
Kafka Consumer Java API编程
1.入门
Spark Streaming概述及应用场景
Spark Streaming集成Spark生态系统使用
从词频统计功能着手入门Spark Streaming
Spark Streaming工作原理(粗/细粒度)
2.核心
StreamingContext/Dstream
Input DStreams和Receivers
Transformation和Output Operations
Spark Streaming处理socket/文件系统数据
3.进阶
updateStateByKey算子的使用
统计结果写入到MySQL数据库
窗口函数的使用、黑名单过滤
Spark Streaming整合Spark SQL操作
Streaming整合Flume
Push和Pull两种方式介绍
与Flume Agent配置
本地、服务器环境联调
整合Spark Streaming应用开发
Streaming整合Kafka
版本选择详解
Receiver和Direct两种方式
本地、服务器环境联调
整合Spark Streaming应用开发及测试
渐进式学习让你彻底学会整套流程的开发
需求分析 → 数据清洗 → 数据统计分析 → 统计结果入库 → 数据可视化
问答专区
讲师集中答疑
关于课程的问题都可在问答区随时提问讲师会进行集中答疑
源码开放
整套代码下载
课程案例代码完全开放给你，你可以根据所学知识自行修改、优化
本课程适合有编程基础，想转行投身大数据行业的工程师，对你的学习能力及基础要求如下：
1、熟悉常用Linux命令的使用
2、掌握Hadoop、Spark的基本使用
3、至少熟悉一门编程语言Java/Scala/Python
慕哥1119179
好评
之前在学校搞过一段时间的web，然后毕业稀里糊涂去做了通信工程师，不想做那么底层的东西，想做一些偏应用层的东西，就来慕课上来找一些优质的课程，没想到一开始就选中了这个课程，很喜欢，配上老师的讲解，一步一步的实战，感觉对大数据组件有一个基本的了解。对于有一定JAVA基础的是很容易上手的！希望能找到一份工作吧，加油，冲鸭~
慕妹9162326
好评
实战课就是针对有点基础就业的，老师讲的非常nice，还没学完，不过感觉离转型越来越近了，期待转型成功，老师大数据系列课程都很实用，学习之后解决了工作中遇到的一些实际问题。这门课容量比较大，还需要花些时间学习。
有木有
好评
课程内容生动形象，也配有不少的例子，能够让人快速接受，一些小伙伴希望通过学习老师讲的课程就把整个Spark Streaming，我觉得是不大现实的，老师只是降低你入门的难度，让你快速上手，然后给你抛出一些思路，让你自己去思考生产中可能会遇见的实际问题，只有自己认真思考解决了，才能真正领悟其中的精髓，没有任何一个技术大牛，是老师带出来的，他们都是自己摸爬滚打多年，踩过无数坑所练就的，希望大家端正对课程的态度，认真思考和学习，坚持不懈很重要
向您推荐
如无法下载使用图片另存为
下载海报选课、学习遇到问题？
扫码添加指导老师 1V1 帮助你！
添加后老师会第一时间解决你的问题
