首页 实战 轻松入门大数据 玩转Flink,打造湖仓一体架构
收藏

轻松入门大数据:玩转Flink,打造湖仓一体架构

十二年技术老兵,带你操盘企业级项目,打造数据思维

轻松入门大数据 玩转Flink,打造湖仓一体架构

难度 中级 时长 50小时 学习人数 34 综合评分 10.00

轻松入门大数据 玩转Flink,打造湖仓一体架构

随着数据规模持续的高速增长,大数据基础设施技术从数据库、数据仓库演化到如今的湖仓一体架构,更成为未来新的架构标准。而Flink因为其优良的性能与广泛的适用性,也成为大数据核心技术之一。本课程将从Flink零基础讲起,涵盖Kafka、ClickHouse、Hudi等热门技术栈,结合多种实时处理场景,构建当下最热门的数据湖、湖仓一体架构,助你轻松进阶大数据工程师!

Michael_PK
讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

聚焦大数据核心框架Flink,变身为大厂争抢的大数据人才

6大亮点设计,让你既能学懂,又能学精,轻松掌握热门框架

前景无限的技术
数据湖方向是未来几年的最大发展方向,
本门是首门基于Flink+Hudi构建数据湖的
课程。
一课涵盖热门技术
一门课将实时数据处理场景中的热门框架
一网打尽:Kafka、Flink、CDC、Hudi、
Canal、ClickHouse。
案例式教学
每个关键章节都搭配案例讲解,并最终手
把手完成一个大型项目的搭建,掌握实战
能力。
面试题详解
资深面试官针对核心技术点,选择典型面
试题,深度剖析解法及思路,带你敲开大
厂之门。
源码解析,二次开发
深度讲解各框架及功能相关源码,培养代
码思维,为二次开发复用打下牢固基础。
平缓学习曲线
从理论入门到环境搭建,从小案例到大项
目,从方案到思维,稳扎稳打掌握大数据
技能。

一课覆盖行业热门框架,原理+实操+项目多维度教学,实现技术自由!

从0基础开始,难度由浅入深,层层递进直达重点

01
实现Flink快速入门
02
基于DataStream API的核心原理及编程
03
剖析Kafka原理及运行机制
04
基于DataStream API进阶及编程
05
基于SQL整合Flink
06
详解OLAP之ClickHouse
07
基于Hudi&Flink构建数据湖
学习目标:
揭开大数据实时处理引擎Flink的神秘面纱,快速开发出批流一体的应用程序
主要内容:
部署Flink,享受Flink批流一体丝滑的开发体验,并将Flink作业在服务器上运行
技术体系:
IDEA快速构建基于Flink的流处理应用开发
IDEA快速构建基于Flink的批处理应用开发
Flink部署
Flink作业提交方式及UI参数理解
Flink多种不同运行模式
学习目标:
从原理、内置API的开发使用到案例实战,掌握基于Flink底层API进行二次开发。
主要内容:
快速便捷地接入各种不同数据源的数据,掌握高效简洁的数据处理方式,将处理结果
吐出到外部系统
技术体系:
内置Source编程
内置Transformation编程
内置Sink编程
Function层级关系
自定义数据源
自定义Sink
并行度
学习目标:
从Kafka快速上手开始,深入剖析Kafka三大核心组件:Producer、Broker、Consumer
主要内容:
揭开Kafka的神秘面纱,Kafka部署及监控,深入剖析 Kafka 生产者、Kafka Broker
及Kafka 消费者,通过 Kafka 整合外部系统(Flume、Flink)
技术体系:
Kafka架构&术语&部署&监控
生产者API&消息发送&分区策略&调优
Broker工作流程&数据存储&调优
消费者API&消费者组&调优
Kafka整合Flume&Flink
Offset管理
学习目标:
掌握 Flink 底层核心状态管理,解决网络抖动带来的数据乱序问题。
主要内容:
时间语义及Window API,Watermark,状态管理
技术体系:
时间语义
Window及WindowFunction编程
Watermark机制&整合时间语义编程
状态管理&编程
状态后端&重启策略
Checkpoint&SavePoint
Flink中延迟数据的处理方案
Flink端到端ExactlyOnce语义
学习目标:
以Flink SQL流批一体技术为主线,全面讲解Flink Table编程、SQL编程、Time与
WaterMark、Window操作、函数使用
主要内容:
Table&SQL API,采用Canal技术整合Flink,Flink CDC接入业务数据Flink
技术体系:
Flink Table API&SQL编程模型
Flink Table API结合Window及EventTime编程
Flink 函数:分组聚合函数、UDF函数等
对接外部系统:文件系统、JDBC、Kafka等
Flink CDC对接Flink编程
Flink SQL结合Window及EventTime编程
Flink CDC整合Checkpoint保证一次性语义
学习目标:
从0基础到实战,全面掌握ClickHouse大数据框架
主要内容:
ClickHouse核心概念、架构设计、数据类型、函数、库表视图的使用、引擎、元数
据、CH编程
技术体系:
ClickHouse特性、架构、部署
ClickHouse基础:数据类型、函数、DDL&DML、视图
基本引擎:Log、MySQL、HDFS、File、Memory
进阶引擎:MergeTree系列
元数据
编程:JDBC&整合Flink编程
ClickHouse表设计
学习目标:
通过Flink+Hudi的方式,为业务场景提供分钟级Upsert数据的分析查询能力
主要内容:
揭开数据湖Hudi的神秘面纱,湖仓一体,Flink整合Hudi核心原理及编程,基于Flink和
Hudi实战构建流式数据湖
技术体系:
三大数据湖产品
Hudi架构、编译、核心术语
Flink整合Hudi开发:API方式、CDC整合SQL方式
需求分析&技术架构&数据流向
功能开发及测试
湖仓一体
Hudi整合Flink优化

配套大型项目实战,技术大佬十二年一线研发经验悉数传授

构建电商行业数据湖——
从通俗易懂的电商行业案例出发,基于Flink、ClickHouse和Hudi等技术框架,实现多场景、多业务的实时处理以及数据湖
场景一:实时统计之商品分析
如何使用Flink进行数据清洗
如何使用Flink进行各种不同维度的统计分析并入库
生产环境在进行Flink应用开发时进行调优的思考
场景四:实时统计之直播榜分析
如何使用Flink CDC实时快速高效收集业务库数据
如何使用Flink SQL进行各维度统计分析
使用Flink CDC时遇到整合Flink版本不兼容时,如何进行
基于源码的二次开发
场景二:实时统计之商品分析(对接Kafka数据源)
掌握Flink和Kafka这对CP在生产上的使用再次理解
Kafka和Flink这组CP在生产上的搭配使用
如何使用Flink对接Kafka数据完成各项指标的统计分析
Flink对接Kafka在生产上使用时要注意的坑
场景五:基于Flink和ClickHouse构建实时数据分析
如何打造基于Flink的标准化将数据清洗后统一接入到
ClickHouse
如何基于ClickHouse SQL进行各种维度的统计分析
Flink&ClickHouse的运行指标可视化监控
场景三:实时统计之数据大盘
Flink在生产上如何基于Window和State整合的最佳实践
如何重构出标准的Flink对接Kafka的代码,以便后期的复用
深入理解并掌握Flink中端到端的Exactly-once语义、数据
乱序的解决方案
场景六:基于Flink和Hudi构建数据湖
湖仓一体能为我们带来什么
存算分离带来的优缺点
如何基于Flink和Hudi构建数据湖

答疑+文档+练习+测评+面试全方位教学服务,保障学习效果,为职场进阶赋能!

答疑服务
大牛讲师+技术社区
讲师答疑
你学习中的任何困难
讲师都将耐心指导
技术社区
百度谷歌都搜不到的问题
来技术社区都能找到答案
闭环教学
代码+资料+作业练习
源码下载
课程全套源代码下载
轻松复用
独家教辅资料
通过原理图解
演示案例等各种教材
保障你的学习效果
全程作业练习
通过综合应用,让你的
知识点融会贯通,技能
举一反三,掌握更牢靠
学习赋能
社群伴学+进度监控
社群伴学
和热爱学习的
优秀伙伴一起成长
进度监控
随时查看学习进度
查漏补缺
直播加餐
不定期开启直播,针对
课程重难点及行业热
点,提升你的认知。
职场赋能
面试指导+面试题分享
面试辅导
站在大厂面试官的角度
给你全方位的面试启发
面试真题
市面上打着灯笼
也找不到的面试真题
一次拿到手

慕课网明星讲师诚意之作,数千小时授课时长,上万学员口碑选择

Michael_PK
资深大数据架构师
十二年互联网公司一线研发经验,某大型互联网公司大数据技术专家。
主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。改造过Hadoop、
Spark等框架的源码为云平台提供更高的执行性能。集群规模过万,有丰富的大数据项目实战经验以及授
课经验(授课数千小时,深受学员好评)。
“铁粉”们的心声
第1章 大厂技术首选高薪必备:揭开Flink的神秘面纱
要论当前业界最火的大数据实时处理引擎,Flink要说第二,无人敢称第一。本章节为大家揭开Flink的神秘面纱:Flink是什么、它的发展史、特性;对比Spark它的优势;以及Flink在大厂中是如何被广泛实践的。
第2章 批流一体丝滑开发体验:快速上手使用Flink进行编程
批流一体是当前以及未来的发展方向,如何使用Flink快速开发出批流一体的应用程序,是我们本章节的重点。同时,也会带领大家,总结出基于Flink进行开发的编程套路,助力轻松实践。
第3章 工欲善其事必先利其器:Flink部署及作业运行
Flink应用程序开发完之后,在生产上都是运行在服务器上的。在知晓Flink的架构之后,我们将一起进行Flink环境的部署,并实践如何将Flink作业运行在服务器上。本章中,将涉及Flink的不用运行模式以及Flink UI的详细讲解,为后续要进行Flink应用的调优打下坚实的基础。
第4章 快速便捷接入各种数据:Flink Data Source API编程
大数据处理经典的三段论:接入数据、处理数据、输出结果。本章节详解第一段论即Flink如何接入数据。本章中,将通过案例实战,带领大家在掌握Flink为我们内置的数据源API的基础上,深入源码,轻松掌握自定义数据源接入的二次开发实践思路及开发套路。
第5章 高效简洁数据处理方式:Flink Transformation API编程
大数据处理的核心部分就是接入数据之后,如何快速高效的对数据按照需求进行处理。本章节详解大数据处理经典的三段论的第二段论,即Flink如何处理数据。在课程中,将通过案例实战,带领大家彻底掌握Flink为我们内置的Transformation API。
查看完整目录
适合人群
苦于没有优质选题做毕业设计的计算机专业大学生
想提升自己技能和薪资的大数据开发的同学
想转型大数据开发的同学
技术储备
熟悉Hadoop基础
了解MySQL的基本使用
了解Java SE的基础知识
熟悉Linux基本命令
环境参数
ClickHouse 21.*
CentOS 7.*
ZooKeeper 3.8.0
Hive 3.1.2
Flume 1.9.0
Kafka 3.*
Redis 7.*
Hadoop 3.3.2
Hudi 0.11.x
Flink 1.15
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题