首页 实战 轻松入门大数据 玩转Flink，打造湖仓一体架构
收藏

轻松入门大数据：玩转Flink，打造湖仓一体架构

十二年技术老兵，带你操盘企业级项目，打造数据思维

轻松入门大数据 玩转Flink，打造湖仓一体架构

￥1299.00
已完结 难度 初级 时长 52小时 学习人数 107 综合评分 10.00
立即购买 加购物车
立即购买 加购物车

随着数据规模持续的高速增长，大数据基础设施技术从数据库、数据仓库演化到如今的湖仓一体架构，更成为未来新的架构标准。而Flink因为其优良的性能与广泛的适用性，也成为大数据核心技术之一。本课程将从Flink零基础讲起，涵盖Kafka、ClickHouse、Hudi等热门技术栈，结合多种实时处理场景，构建当下最热门的数据湖、湖仓一体架构，助你轻松进阶大数据工程师！

Michael_PK
讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号，无法接收课程更新通知。请扫描二维码即可绑定
重新观看

聚焦大数据核心框架Flink，变身为大厂争抢的大数据人才

6大亮点设计，让你既能学懂，又能学精，轻松掌握热门框架

前景无限的技术
数据湖方向是未来几年的最大发展方向，
本门是首门基于Flink+Hudi构建数据湖的
课程。
一课涵盖热门技术
一门课将实时数据处理场景中的热门框架
一网打尽：Kafka、Flink、CDC、Hudi、
Canal、ClickHouse。
案例式教学
每个关键章节都搭配案例讲解，并最终手
把手完成一个大型项目的搭建，掌握实战
能力。
面试题详解
资深面试官针对核心技术点，选择典型面
试题，深度剖析解法及思路，带你敲开大
厂之门。
源码解析，二次开发
深度讲解各框架及功能相关源码，培养代
码思维，为二次开发复用打下牢固基础。
平缓学习曲线
从理论入门到环境搭建，从小案例到大项
目，从方案到思维，稳扎稳打掌握大数据
技能。

一课覆盖行业热门框架，原理+实操+项目多维度教学，实现技术自由！

从0基础开始，难度由浅入深，层层递进直达重点

01
实现Flink快速入门
02
基于DataStream API的核心原理及编程
03
剖析Kafka原理及运行机制
04
基于DataStream API进阶及编程
05
基于SQL整合Flink
06
详解OLAP之ClickHouse
07
基于Hudi&Flink构建数据湖
学习目标：
揭开大数据实时处理引擎Flink的神秘面纱，快速开发出批流一体的应用程序
主要内容：
部署Flink，享受Flink批流一体丝滑的开发体验，并将Flink作业在服务器上运行
技术体系：
IDEA快速构建基于Flink的流处理应用开发
IDEA快速构建基于Flink的批处理应用开发
Flink部署
Flink作业提交方式及UI参数理解
Flink多种不同运行模式
学习目标：
从原理、内置API的开发使用到案例实战，掌握基于Flink底层API进行二次开发。
主要内容：
快速便捷地接入各种不同数据源的数据，掌握高效简洁的数据处理方式，将处理结果
吐出到外部系统
技术体系：
内置Source编程
内置Transformation编程
内置Sink编程
Function层级关系
自定义数据源
自定义Sink
并行度
学习目标：
从Kafka快速上手开始，深入剖析Kafka三大核心组件：Producer、Broker、Consumer
主要内容：
揭开Kafka的神秘面纱，Kafka部署及监控，深入剖析 Kafka 生产者、Kafka Broker
及Kafka 消费者，通过 Kafka 整合外部系统（Flume、Flink）
技术体系：
Kafka架构&术语&部署&监控
生产者API&消息发送&分区策略&调优
Broker工作流程&数据存储&调优
消费者API&消费者组&调优
Kafka整合Flume&Flink
Offset管理
学习目标：
掌握 Flink 底层核心状态管理，解决网络抖动带来的数据乱序问题。
主要内容：
时间语义及Window API，Watermark，状态管理
技术体系：
时间语义
Window及WindowFunction编程
Watermark机制&整合时间语义编程
状态管理&编程
状态后端&重启策略
Checkpoint&SavePoint
Flink中延迟数据的处理方案
Flink端到端ExactlyOnce语义
学习目标：
以Flink SQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与
WaterMark、Window操作、函数使用
主要内容：
Table&SQL API，采用Canal技术整合Flink，Flink CDC接入业务数据Flink
技术体系：
Flink Table API&SQL编程模型
Flink Table API结合Window及EventTime编程
Flink 函数：分组聚合函数、UDF函数等
对接外部系统：文件系统、JDBC、Kafka等
Flink CDC对接Flink编程
Flink SQL结合Window及EventTime编程
Flink CDC整合Checkpoint保证一次性语义
学习目标：
从0基础到实战，全面掌握ClickHouse大数据框架
主要内容：
ClickHouse核心概念、架构设计、数据类型、函数、库表视图的使用、引擎、元数
据、CH编程
技术体系：
ClickHouse特性、架构、部署
ClickHouse基础：数据类型、函数、DDL&DML、视图
基本引擎：Log、MySQL、HDFS、File、Memory
进阶引擎：MergeTree系列
元数据
编程：JDBC&整合Flink编程
ClickHouse表设计
学习目标：
通过Flink+Hudi的方式，为业务场景提供分钟级Upsert数据的分析查询能力
主要内容：
揭开数据湖Hudi的神秘面纱，湖仓一体，Flink整合Hudi核心原理及编程，基于Flink和
Hudi实战构建流式数据湖
技术体系：
三大数据湖产品
Hudi架构、编译、核心术语
Flink整合Hudi开发：API方式、CDC整合SQL方式
需求分析&技术架构&数据流向
功能开发及测试
湖仓一体
Hudi整合Flink优化

配套大型项目实战，技术大佬十二年一线研发经验悉数传授

构建电商行业数据湖——
从通俗易懂的电商行业案例出发，基于Flink、ClickHouse和Hudi等技术框架，实现多场景、多业务的实时处理以及数据湖
场景一：实时统计之商品分析
如何使用Flink进行数据清洗
如何使用Flink进行各种不同维度的统计分析并入库
生产环境在进行Flink应用开发时进行调优的思考
场景四：实时统计之直播榜分析
如何使用Flink CDC实时快速高效收集业务库数据
如何使用Flink SQL进行各维度统计分析
使用Flink CDC时遇到整合Flink版本不兼容时，如何进行
基于源码的二次开发
场景二：实时统计之商品分析（对接Kafka数据源）
掌握Flink和Kafka这对CP在生产上的使用再次理解
Kafka和Flink这组CP在生产上的搭配使用
如何使用Flink对接Kafka数据完成各项指标的统计分析
Flink对接Kafka在生产上使用时要注意的坑
场景五：基于Flink和ClickHouse构建实时数据分析
如何打造基于Flink的标准化将数据清洗后统一接入到
ClickHouse
如何基于ClickHouse SQL进行各种维度的统计分析
Flink&ClickHouse的运行指标可视化监控
场景三：实时统计之数据大盘
Flink在生产上如何基于Window和State整合的最佳实践
如何重构出标准的Flink对接Kafka的代码，以便后期的复用
深入理解并掌握Flink中端到端的Exactly-once语义、数据
乱序的解决方案
场景六：基于Flink和Hudi构建数据湖
湖仓一体能为我们带来什么
存算分离带来的优缺点
如何基于Flink和Hudi构建数据湖

我们为您准备了更全面的学习路线，用更少的时间和成本，实现一站进阶！
点此直达：
9大业务场景实战Hadoop+Flink，完成大数据能力进修
大数据基石
Hadoop Hive Scala
大数据实时计算
Flink ClickHouse Hudi
大数据源码
Hadoop Hive 其他框架
大数据实时计算
Flume Kafka ZooKeeper
大数据实战能力
构建离线数仓项目构建实时统计分析
构建实时数据分析构建数据湖项目

答疑+文档+练习+测评+面试全方位教学服务，保障学习效果，为职场进阶赋能！

答疑服务
大牛讲师+技术社区
讲师答疑
你学习中的任何困难
讲师都将耐心指导
技术社区
百度谷歌都搜不到的问题
来技术社区都能找到答案
闭环教学
代码+资料+作业练习
源码下载
课程全套源代码下载
轻松复用
独家教辅资料
通过原理图解
演示案例等各种教材
保障你的学习效果
全程作业练习
通过综合应用，让你的
知识点融会贯通，技能
举一反三，掌握更牢靠
学习赋能
社群伴学+进度监控
社群伴学
和热爱学习的
优秀伙伴一起成长
进度监控
随时查看学习进度
查漏补缺
直播加餐
不定期开启直播，针对
课程重难点及行业热
点，提升你的认知。
职场赋能
面试指导+面试题分享
面试辅导
站在大厂面试官的角度
给你全方位的面试启发
面试真题
市面上打着灯笼
也找不到的面试真题
一次拿到手

慕课网明星讲师诚意之作，数千小时授课时长，上万学员口碑选择

Michael_PK
资深大数据架构师
十二年互联网公司一线研发经验，某大型互联网公司大数据技术专家。
主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。改造过Hadoop、
Spark等框架的源码为云平台提供更高的执行性能。集群规模过万，有丰富的大数据项目实战经验以及授
课经验(授课数千小时，深受学员好评)。
“铁粉”们的心声
第1章 大厂技术首选高薪必备：揭开Flink的神秘面纱
要论当前业界最火的大数据实时处理引擎，Flink要说第二，无人敢称第一。本章节为大家揭开Flink的神秘面纱：Flink是什么、它的发展史、特性；对比Spark它的优势；以及Flink在大厂中是如何被广泛实践的。
第2章 批流一体丝滑开发体验：快速上手使用Flink进行编程
批流一体是当前以及未来的发展方向，如何使用Flink快速开发出批流一体的应用程序，是我们本章节的重点。同时，也会带领大家，总结出基于Flink进行开发的编程套路，助力轻松实践。
第3章 工欲善其事必先利其器：Flink部署及作业运行
Flink应用程序开发完之后，在生产上都是运行在服务器上的。在知晓Flink的架构之后，我们将一起进行Flink环境的部署，并实践如何将Flink作业运行在服务器上。本章中，将涉及Flink的不用运行模式以及Flink UI的详细讲解，为后续要进行Flink应用的调优打下坚实的基础。
第4章 快速便捷接入各种数据：Flink Data Source API编程
大数据处理经典的三段论：接入数据、处理数据、输出结果。本章节详解第一段论即Flink如何接入数据。本章中，将通过案例实战，带领大家在掌握Flink为我们内置的数据源API的基础上，深入源码，轻松掌握自定义数据源接入的二次开发实践思路及开发套路。
第5章 高效简洁数据处理方式：Flink Transformation API编程
大数据处理的核心部分就是接入数据之后，如何快速高效的对数据按照需求进行处理。本章节详解大数据处理经典的三段论的第二段论，即Flink如何处理数据。在课程中，将通过案例实战，带领大家彻底掌握Flink为我们内置的Transformation API。
查看完整目录
适合人群
苦于没有优质选题做毕业设计的计算机专业大学生
想提升自己技能和薪资的大数据开发的同学
想转型大数据开发的同学
技术储备
熟悉Hadoop基础
了解MySQL的基本使用
了解Java SE的基础知识
熟悉Linux基本命令
环境参数
ClickHouse 21.*
CentOS 7.*
ZooKeeper 3.8.0
Hive 3.1.2
Flume 1.9.0
Kafka 3.*
Redis 7.*
Hadoop 3.3.2
Hudi 0.11.x
Flink 1.15

相关推荐
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题？

扫码添加指导老师 1V1 帮助你！

添加后老师会第一时间解决你的问题