本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目,以功能实现为基础,通过调优及重构功能实现,达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用,拓展同学们的视野。
Spark
HBase
Hadoop
Redis
Kafka
Alluxio
资深Spark工程师亲授
内容结合实际工作经验
三分基础,七分实战
带你在项目中学习
实现功能并调优重构
达到企业生产标准
Spark整合HBase打造大数据离线项目实战
使用Spark对慕课网用户行为日志进行ETL处理,处理
结果落地在HBase,并使用Spark对接HBase存储的日
志数据进行统计分析
各地区访问量统计分析
客户端访问分布情况统计分析
离线通用处理架构
快整合Github已有的资源到项目中
Spark整合HBase数据使用DataFrame进行读写操作
通过shell脚本动态传递参数进行Spark作业的提交
Spark统计结果以正确的姿势写入到MySQL
Spark中Cache在项目中的使用
禁用HBase的WAL机制
使用Spark直接生成HFile文件高效的数据落地到HBase
Spark整合Kafka&Redis打造大数据实时项目实战
使用Spark Streaming和Redis的整合完成慕课网订单
数据的实时统计分析
实时统计每天的总订单数(此处为模拟数据)
实时统计每天的总订单金额(此处为模拟数据)
实时通用处理架构
Kafka整合Spark Streaming的使用
根据不同的业务进行Redis数据类型的选择
项目参数统一配置管理
如何将多个业务统计分析统计进行抽象提取处理、达到
共享数据的目的,节省计算资源的开销
offset管理的思路
本课程
技术版本维护
讲师长期维护项目,不会让项目由于
技术版本更新而无法运行。
Git代码仓库
提供高性能远端Git仓库,方便开发
者随时随地参与项目。
课程源代码
免费提供课程源码,课程源码保持长
期更新维护。
学习社群
课程专属学习交流群,与优秀的人共
同进步:互相帮助,共同分享。
专题讨论
定期组织技术话题讨论,疑难问题/
热点技术/职业规划/高效学习等热点
观点等你参与。
问答社区
遇到困难随时提问,讲师亲自
答疑解惑。
课后练习
定制每章课后练习,技能知识
牢牢掌握。
教辅材料
辅助视频内容,扩展知识面,让你更
好,更深的理解知识。
想转型或者从事大数据行业的小伙伴
Spark进阶课程,不是从零基础开始讲解,需要有一定基础
熟悉Scala、Java SE基本语法
熟悉Hadoop基本使用、Linux基本命令
了解Spark SQL和Streaming的基本使用
如无法下载使用图片另存为
下载海报选课、学习遇到问题?
扫码添加指导老师 1V1 帮助你!
添加后老师会第一时间解决你的问题