首页 实战 Spark3实时处理-Streaming+StructuredStreaming实战
收藏

实战Spark3 实时处理,掌握两套企业级处理方案

专攻实时处理技能,掌握Spark Streaming+Structured Streaming两大模块

Spark3实时处理-Streaming+StructuredStreaming实战

¥488.00
已完结 难度 中级 时长 23小时 学习人数 335 综合评分 10.00

基于Spark3,在同一项目中,学习两套实时处理的解决方案:Spark Streaming和Structured Streaming,体验完整实时处理方案的全流程,为你梳理大数据常见面试题、大厂的实时解决方案,带你跨过面试最后一公里。

Michael_PK
讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

基于新版Spark3,掌握两种实时流处理解决方案

经过分析迭代,选择更优方案,还原实时处理系统的开发全流程

专攻大数据领域必备技能
Spark3 两大模块
处理新闻客户端日志
理论+实操+面试 多维度讲解
在企业中大数据实时处理场景的需求越来越多
互联网、电信运营商、金融等行业均有应用
选取目前企业主流的解决方案: Spark的
实时处理,一站式讲解基于Spark的两种
处理模块:
Spark Streaming和Structured Streaming
不仅讲解本项目,还会讲大厂的
实时解决方案,不仅讲解技术,还会讲解常见
技术面试题+HR常问问题

从实际业务出发,选用合适技术栈,涵盖实操+面试知识点

结合项目,进一步熟悉大数据主流工具和框架

Flume
Kafka
HBase
可视化
Agent选型
单/多Broker部署
核心API编程
Spring Data对接数据源
常用场景的Agent配置
命令行及API编程
rowkey设计
Echarts基本使用
拦截器的二次开发
Kafka对接Flume数据
HBase读写流程
使用React封装Echarts
高可用部署方案
Kafka数据存储
元数据寻址
统计结果可视化展示
TailDirSource递归收集
Kafka acks
Spark
Streaming
核心概念
编程模型
对接常用数据源
Transformation&Output
处理带状态的数据
对接Kafka数据
Kafka offset自定义维护
ETL及统计分析
调优
集群规划
Structured
Streaming
对比Streaming的区别
核心概念及编程模型
对接数据源操作
Streaming DataFrame编程
基于EventTime的窗口操作
处理延迟数据及水印
触发器
对接数据存储到Redis

资深大数据架构师亲授,带你搭架构、知业务、做项目

从0开始,开发企业级大数据实时处理系统

数据流图

架构图

Offset维护管理

当天用户访问时长Top10(饼状图)

当天用户访问时长Top10(柱状图)

用户访问区域统计

不同年龄段访问人数统计

学员专享增值服务

问答专区
关于课程的问题都可在问答区随时提问,讲师会进行
集中答疑
源码开放
课程案例代码完全开放给你,你可以根据所学知
识,自行修改、优化,用于正式项目

环境参数

  • Spark 3.x
  • Hadoop生态 cdh5.16.2
  • Kafka 2.5.0
  • Redis 6.0.6
  • Scala 2.12
  • Maven 3.6.3

万事俱备 只等你来

  • 为梦想执着

    好评

    看了上面有位童鞋说这个课程最牛逼的课程,我也想说一句老师真的好厉害,之前花了几万在北京某机构线下学习了大数据,但是没有入行一直很惋惜,后面又做java开发了,现在不死心还是想走大数据这条路,所以买套课程复习实战复习下知识点,然后这套课程刷新了我以前学习大数据的认知,之前老是放在Linux集群操作的步骤上差点让自己放弃了,课程还没学完,但是我从这里又燃起了从事这行的信心,课程绝对物超所值,顺便问问老师需要喝水么,我去帮您端过来^_^

  • Panda_io

    好评

    这是我买过最牛逼的大数据课程,全程把难以理解的知识点讲得通俗易懂。跟着老师一步一步把官方文档读透彻,把官方例子一个一个讲活,帮我们养成阅读官方文档的习惯,授之以渔而不是授之以鱼。完整搭建了一个流处理技术栈体系,课程全程干货参与感很强,这门课绝对物超所值,刷新的你对大数据的认识,搭配老师的《学习Scala进击大数据Spark生态圈》简直不要太香,我不是托,PK牛逼!!!

  • 慕少7272350

    好评

    看书太累了抓不到重点,还是看视频接受度高听老师讲好安逸呀还会把重点给你画出来太省事拉, 老师讲课的内容由浅入深一步步带着你,举的例子也挺生动的和生产比较贴近。一口气看了一个小时,感觉学到挺多的。 平常对flume也就是使用配置级别的,看完视频加深了我的理解,对保证文件收集的高可用有了全新的认识。 从flume到kafka各种实时处理问题都讲的很详细,对实时整套流程有了系统的认识,期待后续的更新。

查看全部46条用户评价
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题