收藏网站
使用 Ctrl+D 可将网站添加到书签
/ 实战 / Spark3大数据实时处理-Streaming+Structured Streaming 实战
收藏

实战Spark3 实时处理，掌握两套企业级处理方案

专攻实时处理技能，掌握Spark Streaming+Structured Streaming两大模块

Spark3大数据实时处理-Streaming+Structured Streaming 实战

￥488.00
花呗付款
京东白条
难度 中级 时长 23小时 学习人数 122 综合评分 10.00
立即购买 加购物车

Spark3大数据实时处理-Streaming+Structured Streaming 实战

立即购买
￥488.00

基于Spark3，在同一项目中，学习两套实时处理的解决方案：Spark Streaming和Structured Streaming，体验完整实时处理方案的全流程，为你梳理大数据常见面试题、大厂的实时解决方案，带你跨过面试最后一公里。

Michael_PK
讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号，无法接收课程更新通知。请扫描二维码即可绑定
重新观看

全网首发：基于新版Spark3，掌握两种实时流处理解决方案

经过分析迭代，选择更优方案，还原实时处理系统的开发全流程

专攻大数据领域必备技能
Spark3 两大模块
处理新闻客户端日志
理论+实操+面试 多维度讲解
在企业中大数据实时处理场景的需求越来越多
互联网、电信运营商、金融等行业均有应用
选取目前企业主流的解决方案： Spark的
实时处理，一站式讲解基于Spark的两种
处理模块：
Spark Streaming和Structured Streaming
不仅讲解本项目，还会讲大厂的
实时解决方案，不仅讲解技术，还会讲解常见
技术面试题+HR常问问题

从实际业务出发，选用合适技术栈，涵盖实操+面试知识点

结合项目，进一步熟悉大数据主流工具和框架

Flume
Kafka
HBase
可视化
Agent选型
单/多Broker部署
核心API编程
Spring Data对接数据源
常用场景的Agent配置
命令行及API编程
rowkey设计
Echarts基本使用
拦截器的二次开发
Kafka对接Flume数据
HBase读写流程
使用React封装Echarts
高可用部署方案
Kafka数据存储
元数据寻址
统计结果可视化展示
TailDirSource递归收集
Kafka acks
Spark
Streaming
核心概念
编程模型
对接常用数据源
Transformation&Output
处理带状态的数据
对接Kafka数据
Kafka offset自定义维护
ETL及统计分析
调优
集群规划
Structured
Streaming
对比Streaming的区别
核心概念及编程模型
对接数据源操作
Streaming DataFrame编程
基于EventTime的窗口操作
处理延迟数据及水印
触发器
对接数据存储到Redis

资深大数据架构师亲授，带你搭架构、知业务、做项目

从0开始，开发企业级大数据实时处理系统

数据流图

架构图

Offset维护管理

当天用户访问时长Top10（饼状图）

当天用户访问时长Top10（柱状图）

用户访问区域统计

不同年龄段访问人数统计

学员专享增值服务

问答专区
关于课程的问题都可在问答区随时提问，讲师会进行
集中答疑
源码开放
课程案例代码完全开放给你，你可以根据所学知
识，自行修改、优化，用于正式项目
适合人群
想转型或者从事大数据开发的同学
对Spark有浓厚兴趣的同学
想掌握大数据实时处理技术的同学
技术储备要求
Linux命令基本操作
Hadoop命令基本操作
Scala基本语法的使用

相关推荐

环境参数

  • Spark 3.x
  • Hadoop生态 cdh5.16.2
  • Kafka 2.5.0
  • Redis 6.0.6
  • Scala 2.12
  • Maven 3.6.3
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题？

扫码添加指导老师 1V1 帮助你！

添加后老师会第一时间解决你的问题