全部试看小节
本章中,将带领大家来一起认识大数据处业界中主流的分布式计算框架有哪些,进而引出为什么要学习的Flink框架、Flink是什么、发展史、特点;了解业务常见的实时处理框架有哪些,并知道在大厂中都在使用Flink做什么。帮助大家对Flink有初步得认识~~ ...
本章中,将带领大家,通过Maven+IDEA构建基于Flink的开发环境,快速构建我们的第一个基于Flink的实时和离线分析案例。
本章中,将带领大家一起来完成Flink环境的部署,理解Flink的架构,如何提交作业到Flink集群运行,并认识Flink UI上核心参数的含义和使用策略。
本章中,将向大家介绍,基于Flink的DataStream API内置的三大核心要素的编程:Source、Tranformation、Action
本章中,将向大家介绍,基于Flink的DataStream API的三大核心要素的的高级特性,以及如何进行自定义功能的开发。
本章节将实现项目实战的第一篇,从实时项目的架构、选型出发,介绍项目背景以及需求,并使用Flink已学知识点进行数据清洗、各种不同维度的功能开发、结果入库、自定义函数开发等
本章中,我们将从流处理过程中的三大时间语义出发,通过场景及案例分析帮助大家理解时间三兄弟是什么意思、三兄弟对于业务逻辑处理的影响、Window的分类、以及基于增量的全量的Window Function编程。
本章中将对Flink的Window编程中最核心的Watermark进行介绍。会带领大家认识,基于EventTime、Window、Watermark的综合使用,以及如何处理延迟或者乱序数据 。
本章带领大家学习在Flink流处理中为什么要引入State?State分类有哪些?如何自定义实现State功能?Flink中的Checkpoint机制有什么作用?重启策略以及StateBackend在生产上如何使用等等硬核内容。
本章节将实现项目实战的第二篇,将带领大家来学习在Flink中如何实现分组TopN的功能开发,以及使用Flink结合布隆过滤器,对项目实战第一篇的功能进行重构达到更好的性能。
本章节将实现项目实战的第三篇,也是整个项目中最重要得一篇。不管是采用哪种实时处理框架,对于如何做到一次性精准消费都是一个非常重要且棘手的问题,这不仅是面试过程中也是在实际开发过程中必须要掌握的。本章节要彻底解决这些问题,并对代码进行重构封装,达到以后能完全复用的目的。...
本章节将介绍当前非常火的OLAP框架ClickHouse。会带领大家认识ClickHouse的适用场景、部署、如何使用CH的SQL语言对大数据场景进行统计分析表引擎、ClickHouse 核心 API编程,以及如何整合各种不同数据源数据。
本章节将实现项目实战的第四篇,也就是终极一战!本章中第一个案例将使用Flink对接ClickHouse,将处理过的明细数据写入ClickHouse,后续统计分析直接使用SQL完成,借以大大提升开发效率以及降低开发成本;第二个案例将使用Flink CEP完成恶意攻击风控告警,提高安全性。...
前面的章节主要是用流的角度进行阐述,本章中将介绍如何使用Flink的DataSet API完成离线场景的开发。通过本章得学习,相信大家能更好得理解Flink是如何能够支持批流一体的解决方案的。
本章将介绍如何使用Table API进行业务处理,以及如何更方便的使用SQL的方式基于Flink进行处理。【注意:SQL的方式在生产上用的非常多,因为SQL对于开发人员来说,门槛极低,只要使用SQL就可以进行大数据的统计分析操作,这是一件极好极好的事情】 ...
本章中,将带领大家知晓大数本章节将介绍Flink版本升级时的注意事项:如,代码兼容性、服务器环境注意事项等。
本章中,将拓展讲解基于Canal、Kafka、Flink来构建实时数仓,掌握数仓的常用分层方式,业务数据的实时采集、双流join等
CDC是Change Data Capture(变更数据获取)的简称,Flink社区开发了flink-cdc-connectors组件,可以直接从MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的source组件。本章节将从基于DataStream、Table API的角度进行编程实战,带领大家轻松掌握CDC得应用。...
全部试看小节
十二年互联网公司一线研发经验,担任大数据技术专家。主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。
如无法下载使用图片另存为
下载海报选课、学习遇到问题?
扫码添加指导老师 1V1 帮助你!
添加后老师会第一时间解决你的问题