首页 实战 Flink+ClickHouse 玩转企业级实时大数据开发
收藏

Flink+ClickHouse 玩转企业级实时大数据开发

已经在做大数据,Flink让你轻松提薪;尚未入行大数据,Flink让你弯道超车

Flink+ClickHouse 玩转企业级实时大数据开发

¥399.00
已完结 难度 中级 时长 25小时30分钟 学习人数 970 综合评分 9.98

Flink已经成为高薪大数据工程师的必备技能,越早掌握,越能占得红利。本课程带你原理出发,构建知识体系,并引入热门OLAP引擎ClickHouse,整合Flink搭建企业级大数据实时分析应用,带你打通Flink开发任督二脉。

Michael_PK
讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看
课程目标

从零开始,原理出发,案例驱动,掌握Flink开发方方面面

搭建Flink完整知识体系
· 快速入门Flink
· 轻松上手项目部署
· 掌握六大核心知识
实战企业级大数据项目
· 核心组件二次开发
· 结合ClickHouse开发企业级
  大数据实时场景
· 实时数仓项目拓展实践
提升实际问题解决能力
· 架构/框架选型?
· 升级、落地、性能调优?
· 技术大牛如何思考问题?
课程亮点

六大核心模块重点梳理,快速构建Flink完整知识体系

逐步深入,直通企业面试题,轻松达到Flink中级开发水平

实时处理

实时处理核心API编程

自定义Source

自定义Function

自定义Sink

并行度

窗口及水印

时间语义

窗口概念&分类&分配器

Watermark

Window Function

综合编程

状态管理

状态是什么及分类

自定义状态管理

Checkpoint vs

SavePoint

重启策略

StateBackend

Table API&SQL处理

核心概念&编程模型

整合DataStream编程

整合Connector编程

整合Window编程

UDF编程

离线处理

离线编程模型

离线核心API编程

计数器

分布式缓存

广播变量

CEP

复合事件处理

个体模式&组合模式

模式检测

模式提取

风控实战

面试真题

1.Flink是如何保证Exactly-once语义的

3.谈谈对你Flink并行度的认识,如何设置并行度

5. Flink如何做到容错的

7. Flink分布式快照机制是如何实现的

2.Flink如何实现双流JOIN

4.Flink如何完成状态存储,各自的区别有哪些

6.在使用Flink时如何解决数据倾斜

8.Flink作业运行时有作业延迟,谈谈你的解决思路

······

项目实战:Flink+ClickHouse搭建大数据实时分析应用

从架构思想到性能落地,系统指导开发实践

实现功能
解决问题
性能调优
· 数据清洗(同步、异步IO)
· 基于窗口的新老用户指标统计
   (操作系统、省份、窗口维度)
· 热门分组TopN指标统计
· Flink整合CH完成明细数据并进行
   多维度统计分析
· 基于CEP完成风控告警
· 基于Canal的实时数据同步
· 基于Flink的双流JOIN方案
· 基于Flink+CH通用实时解决方案
· Flink保证Exactly-once语义
· 自定义Source、Transformation、
   Sink算子
· 彻底理解基于Flink的自定义状态
   管理
· 窗口&水印&窗口函数综合使用
· 引入CH,解决实时多维度分析的
   痛点
· 基于Flink的CEP编程· 实时数仓
   架构及选型
· 实时数仓的分层模型
· 布隆过滤器整合State编程解决
   state过大的问题
· 使用Flink异步IO提升数据处理的
   性能
· Flink并行度调整

适用大厂多,学透Flink == 打通大厂晋升跳槽通道

快速变身大厂都在追的大数据人才

课程大纲
第1章 Flink认知篇
第2章 Flink本地开发快速上手篇
第3章 Flink部署篇
第4章 Flink实时处理核心API基础篇
第5章 Flink实时处理核心API进阶篇
知晓大数据处业界中主流的分布式计算框架有哪些,引出本课程要学习的Flink框架。知道Flink框架是做什么的,在什么场景下使用的比较多。了解业务常见的实
时处理框架有哪些,并知道在大厂中都在使用Flink做什么。
通过Maven+IDEA构建基于Flink的开发工程,结合Flink官方提供的源码轮廓来构建我们的第一个实时和离线分析案例。
带领学员完成Flink环境的部署,理解Flink的架构,通过提交作业到Flink集群上来运行,并认识Flink UI上核心参数的意思。
介绍基于Flink的DataStream API内置的三大核心要素的编程:Source、Tranformation、Action。
介绍基于Flink的DataStream API的三大核心要素的的高级特性以及自定义实现对应的三大核心要素。
查看完整目录
专属服务

每个慕课网课程,都是一个专业的技术社区

个性化增值服务,学习有保障更高效

答疑专区+技术社区
连百度谷歌都搜不到的问题,在这里讲
师都将耐心详细解答,更有小伙伴一起
交流互动,共同进步。
学练一体
课程不仅包括视频讲解,还提供相关
练习、巩固学习效果的环节。
源码开放
提供课程全套源下载包含:
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。
教辅材料
丰富的教辅材料实时上传。
适宜人群
1. 大数据领域从业者或想转型大数据开发的工程师
2. 想彻底学习Flink框架的小伙伴
技术储备要求
Java、Linux基本命令使用
Hadoop基本命令使用
技术参数
JDK: 1.8 Mavem:3.6.3 Hadoop: 3.2.2
Kafka:2.5.0 Flink:1.12 ClickHouse:21.4.5.46
Canal:1.1.4 Redis:5.x
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题