9大业务场景实战Hadoop+Flink，完成大数据能力进修

十二年互联网公司一线研发经验，担任大数据技术专家。主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。集群规模过万，有丰富的大数据项目实战经验以及授课经验(授课数千小时，深受学员好评)。

2大企业级项目，9种业务场景，实战中掌握大数据主流框架的应用能力

经典教学模型，多轮内容打磨，实现「轻松」入门

一课完成核心能力构建

覆盖热门技术，直击底层能力，不论是毕
业生还是技术转型，都能轻松学懂学会，
完成入门第一步。

亲自上手功能调优

不仅掌握项目的实现，还能学会如何调
优，亲手构建大数据项目！

平缓友好的学习曲线

从理论入门到环境搭建，从小案例到大项
目，从方案到思维，稳扎稳打掌握大数据
技能。

面试题详解
提升求职成功率

资深面试官针对核心技术点，选择典型面
试题，深度剖析解法及思路，带你敲开大
厂之门。

高密度案例式教学

每个关键章节都搭配案例讲解，并最终手
把手完成一个大型项目的搭建，掌握实战
能力。

深度解析源码
掌握二次开发

深度讲解各框架及功能相关源码，培养代
码思维，为二次开发复用打下牢固基础。

从源码、工具到项目实操，快速掌握大数据核心技术框架

删繁就简，直击核心，成为合格的岗位人才

Hadoop
Hive
其他框架

Hadoop
Hive
Scala

构建离线数仓项目
构建实时统计分析
构建实时数据分析
构建数据湖项目

Flume
Kafka
ZooKeeper

Flink
ClickHouse
Hudi

从原理到实操，带你全面入门大数据核心技术框架

删繁就简，直击核心，成为合格的岗位人才

大数据基石

大数据辅助工具

大数据实时计算

大数据源码

大数据项目实战

学习目标：

具备使用Hadoop&Hive构建离线数仓能力
具备使用Flink&Kafka&CDC构建实时统计能力
具备使用Flink&ClickHouse构建实时数据分析能力
具备使用Flink&Hudi构建数据湖能力

阶段收获：

实战基于Hadoop的大数据离线数仓项目，通过四个业务掌握从架构设计、
数据采集、数据处理、可视化、调优、拓展思路的角度掌握框架的综合使用
掌握Flink在生产上如何基于Window和State整合的最佳实践
掌握如何重构标准的Flink对接Kafka的代码，以便后期的复用
理解并掌握Flink中端到端的Exactly-once语义、数据乱序的解决案
打造基于Flink的标准化将数据清洗后统一接入到ClickHouse
掌握基于ClickHouse SQL进行各种维度的统计分析
掌握Flink&ClickHouse的运行指标可视化监控

学习目标：

具备Hadoop单节点&分布式环境部署、HDFS使用、MR编程、YARN命令行使用
具备使用Hive使用SQL进行大数据分析的能力
具备使用Scala进行面向对象开发、函数式编程、隐式转换的能力

阶段收获：

掌握Hadoop架构、HDFS命令行&API开发、MapReduce全流程组件开发及执行流程、MR on
YARN，Hadoop集群规划&部署&高可用、调优
掌握Hive架构、部署、DDL&DML、Hive函数(内置&UDF)、SQL狂练、调优
掌握使用Scala进行面向对象编程、方法和函数的区别、集合的操作、函数式编程及自定义开发
高阶函数、泛型的使用，掌握基于Scala语言的Akka高并发编程

学习目标：

具备使用Flume进行日志收集的能力
具备使用Kafka三大核心Producer、Broker、Consumer以及调优的能力
具备使用ZooKeeper完成Hadoop HA的能力

阶段收获：

掌握Flume的架构、部署、监听文件&文件夹数据进行收集、断点续传、Channel Selector、
Sink Processer、生产场景剖析
掌握实时处理最佳CP的Kafka框架的架构、部署、监控、消息发送全流程及调优、消息消费全流
程及调优、消息存储全流程及调优、整合Flume&Flink的使用
掌握ZK架构、部署、命令行使用、监听器、四字命令

学习目标：

具备使用Flink API&SQL&CDC构建实时应用、对接CH、Hudi的能力
具备ClickHouse的表结构设计、表引擎合理选择、对接Flink的API编程
具备基于Hudi构建数据湖的能力

阶段收获：

掌握Flink架构、部署、各种运行模式、 DataStream API开发、State、Window、Watermark、
Table&SQL API开发、使用Flink CDC完成实时数据收集的功能
掌握CH架构、部署、数据类型、DDL&DML、库表引擎、函数、元数据管理、API开发
掌握数据湖常用框架、Hudi架构、部署、核心组件、应用开发、对接Flink构建实时数据湖

学习目标：

具备阅读Hadoop核心源码的能力
具备阅读Hive核心源码的能力
具备在开发过程中关联框架源码并即时源码走读的能力

阶段收获：

掌握Hadoop源码中核心节点的启动流程、MapReduce作业的执行流程及数据分片原理，以及
Hadoop源码中数据的读写流程
掌握Hive中从Hive QL发起后，中间经历了哪些过程，是如何将Hive QL翻译成分布式作业并执行的
掌握随时基于核心API进行源码的走读

学习目标：

阶段收获：

学习目标：

阶段收获：

以两个热门项目为基础，掌握十余种操作，打通从数仓构建到统计分析全流程

离线数仓被广泛应用于电商、安全、教育等行业，通过数据的整合与
调度，可以直观发现问题，作出最优决策。

从通俗易懂的电商行业案例出发，基于Flink、ClickHouse和
Hudi等技术框架，实现多场景、多业务的实时处理以及数据湖

疫情防控决策大数据分析系统

项目收获

掌握数仓的分层模式带来的优势
基于业务数据构建数仓的能力
掌握如何基于可视化框架快速构建大屏

作业管理预警平台

项目收获

压缩在大数据生产上的使用
存储格式在大数据生产上的使用
对象存储的使用

内容分发系统资源用量统计分析系统

项目收获

如何完成数据清洗的能力
基于日志数据构建数仓的能力
如何进行生产上的调优

实时统计之商品分析

项目收获

如何使用Flink进行数据清洗
如何使用Flink进行各种不同维度的统计
分析并入库
生产环境在进行Flink应用开发时进行调
优的思考

实时统计之商品分析（对接Kafka数据源）

项目收获

掌握Flink和Kafka这对CP在生产上的使用
再次理解Kafka和Flink这组CP在生产上的搭
配使用
如何使用Flink对接Kafka数据完成各项指标
的统计分析
Flink对接Kafka在生产上使用时要注意的坑

实时统计之数据大盘

项目收获

Flink在生产上如何基于Window和State
整合的最佳实践
如何重构出标准的Flink对接Kafka的代
码，以便后期的复用
深入理解并掌握Flink中端到端的
Exactly-once语义、数据乱序的解决方案

实时统计之直播榜分析

项目收获

如何使用Flink CDC实时快速高效收集业
务库数据
如何使用Flink SQL进行各维度统计分析
使用Flink CDC时遇到整合Flink版本不兼
容时，如何进行基于源码的二次开发

基于Flink和ClickHouse构建实时数据分析

项目收获

如何打造基于Flink的标准化将数据清洗后
统一接入到ClickHouse
如何基于ClickHouse SQL进行各种维度
的统计分析
Flink&ClickHouse的运行指标可视化监控

基于Flink和Hudi构建数据湖

项目收获

湖仓一体能为我们带来什么
存算分离带来的优缺点
如何基于Flink和Hudi构建数据湖

答疑+文档+练习+测评+面试全方位教学服务，为职场进阶赋能！

答疑服务

大牛讲师+技术社区

讲师答疑

你学习中的任何困难
讲师都将耐心指导

技术社区

百度谷歌都搜不到的问题
来技术社区都能找到答案

闭环教学

代码+资料+作业练习

源码下载

课程全套源代码下载
轻松复用

独家教辅资料

通过原理图解
演示案例等各种教材
保障你的学习效果

全程作业练习

通过综合应用，让你的
知识点融会贯通，技能
举一反三，掌握更牢靠

学习赋能

社群伴学+进度监控

社群伴学

和热爱学习的
优秀伙伴一起成长

进度监控

随时查看学习进度
查漏补缺

直播加餐

不定期开启直播，针对
课程重难点及行业热
点，提升你的认知。

职场赋能

面试指导+面试题分享

面试辅导

站在大厂面试官的角度
给你全方位的面试启发

面试真题

市面上打着灯笼
也找不到的面试真题
一次拿到手

慕课网明星讲师诚意之作，数千小时授课时长，上万学员口碑选择

Michael_PK

资深大数据架构师

十二年互联网公司一线研发经验，某大型互联网公司大数据技术专家。
主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。改造过Hadoop、
Spark等框架的源码为云平台提供更高的执行性能。集群规模过万，有丰富的大数据项目实战经验以及授
课经验(授课数千小时，深受学员好评)。

“铁粉”们的心声

第1章高薪择业：为什么大数据行业更有前途？

本章将从什么是大数据说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的。课程中，将介绍大数据的特性、大数据对我们带来的技术变革、大数据处理过程中涉及到的技术以及大数据典型应用。在这里，希望大家掌握学习的方法，得以真正不变应万变。

第2章急速入门大数据Hadoop：到底什么是Hadoop

本章中，将带领大家一起认识Hadoop：Hadoop生态系统、Hadoop的发展史、Hadoop的优势、Hadoop的三个核心组件（HDFS、YARN、MapReduce）；探讨Hadoop生态圈的常用框架及职责，以及在工作中如何选择更适合的Hadoop的发行版，为后续深入学习打下坚实的基础。

第3章大数据基石之文件系统：系统玩转分布式文件系统HDFS

本章中，将从Hadoop的设计目标、架构及文件系统命令空间出发，带领大家快速搭建单节点伪分布式HDFS的环境。通过讲解使用hdfs shell以及Java API的方式操作HDFS文件系统，详细分析HDFS文件的读写流程以及安全模式在Hadoop中的使用，并结合HDFS API来实现词频统计案例，帮助大家对Hadoop分布式文件系统HDFS有深刻的认识并能轻松上手实战。

第4章大数据基石之计算框架：系统玩转分布式计算框架MapReduce

本章将从架构、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce，掌握MapReduce整体执行流程以及各个核心组件编程，并通过N个实战案例让大家深入掌握，如何结合各种不同场景的应用基于MapReduce进行开发。本章中会详细剖析如何在MapReduce中实现JOIN，这也是面试中经常被考察到的点，考察你的MapReduce功底以及优化策略。

第5章大数据基石之管理框架：系统玩转资源管理系统YARN

本章将从YARN的产生背景、YARN的架构及执行流程的角度，带大家认知Hadoop的资源调度框架YARN，能够快速搭建单节点伪分布式YARN的实验环境，掌握如何提交MapReduce作业提交到YARN上运行，以及资源调度器的配置、使用及区别。

查看完整目录

向您推荐

9大业务场景实战Hadoop+Flink，完成大数据能力进修

￥1999.00

初级难度 / 60 人在学

扫码学习

如无法下载使用图片另存为

下载海报

9大业务场景实战Hadoop+Flink，完成大数据能力进修

一课掌握热门技术栈，从0到1构建数据思维

9大业务场景实战Hadoop+Flink，完成大数据能力进修

讲师其他课程

课程预览

2大企业级项目，9种业务场景，实战中掌握大数据主流框架的应用能力

经典教学模型，多轮内容打磨，实现「轻松」入门

从源码、工具到项目实操，快速掌握大数据核心技术框架

删繁就简，直击核心，成为合格的岗位人才

从原理到实操，带你全面入门大数据核心技术框架

删繁就简，直击核心，成为合格的岗位人才

以两个热门项目为基础，掌握十余种操作，打通从数仓构建到统计分析全流程

答疑+文档+练习+测评+面试全方位教学服务，为职场进阶赋能！

慕课网明星讲师诚意之作，数千小时授课时长，上万学员口碑选择

1、老师，我大专想转大数据测试，可以吗，2、这门课可以满足大数据测试对于大数据基础的了解吗

请问老师，这门课和另外几门课有什么区别。目前零基础推荐怎么样的一个报课顺序？

热搜

最近搜索清空

9大业务场景实战Hadoop+Flink，完成大数据能力进修

一课掌握热门技术栈，从0到1构建数据思维

9大业务场景实战Hadoop+Flink，完成大数据能力进修

讲师其他课程

课程预览

2大企业级项目，9种业务场景，实战中掌握大数据主流框架的应用能力

经典教学模型，多轮内容打磨，实现「轻松」入门

从源码、工具到项目实操，快速掌握大数据核心技术框架

删繁就简，直击核心，成为合格的岗位人才

从原理到实操，带你全面入门大数据核心技术框架

删繁就简，直击核心，成为合格的岗位人才

以两个热门项目为基础，掌握十余种操作，打通从数仓构建到统计分析全流程

答疑+文档+练习+测评+面试全方位教学服务，为职场进阶赋能！

慕课网明星讲师诚意之作，数千小时授课时长，上万学员口碑选择

相关推荐

1、老师，我大专想转大数据测试，可以吗，2、这门课可以满足大数据测试对于大数据基础的了解吗

请问老师，这门课和另外几门课有什么区别。目前零基础推荐怎么样的一个报课顺序？

邀请好友学习

微信邀请

链接邀请

海报邀请

￥1999.00

学习咨询