/ 实战 / SparkSQL极速入门 整合Kudu实现广告业务数据分析
收藏

SparkSQL极速入门 整合Kudu实现广告业务数据分析

大数据离线处理核心技术 初中级大数据工程师工作提升利器

SparkSQL极速入门 整合Kudu实现广告业务数据分析

难度 中级 时长 16小时 学习人数 117 综合评分 10.00

SparkSQL极速入门 整合Kudu实现广告业务数据分析

观看试看视频

SparkSQL极速入门 整合Kudu实现广告业务数据分析
课程结合案例驱动,全面讲解Spark SQL大数据离线理处理必备的知识点。在项目部分,使用Kudu整合Spark进行广告业务功能的实现,并针对已实现的需求代码进行调优;通过扩展Presto和大数据平台建设方面的相关内容,进一步提升技能。本课程干货丰富,是大数据开发者们加薪、跳槽、转型的必备利器。
Michael_PK

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

五大知识板块 掌握大数据处理技术Spark SQL

每个大数据工程师都不应错过的必备大数据开发技能

Spark SQL快速入门

SQL on Hadoop
Spark SQL概述、架构、常见误区
spark-shell/spark-sql启动流程分析

Spark SQL API编程

SparkSession & SQLContext
DataSet & DataFrame API
DataFrame & DataSet
与RDD的互操作

Data Source API

Data Source API处理text/JSON/
Parquet/JDBC数据
SaveMode的正确选择
配置参数统一管理

整合Hive操作及函数

Spark整合Hive的数据操作
ThriftServer的使用
Spark SQL内置函数&自定义函数实战

Kudu

Kudu概述、核心概念、架构及部署
Kudu API操作
Spark Data Source API
读写Kudu数据

广告业务项目实战 从构建到优化一“战”搞定

经典广告业务项目 高匹配度的功能与问题 带你更好的理解SparkSQL

项目做完回头看 学学大牛如何调优与思考

学习技术受用一时 领悟思想受用一生

Spark调优策略

合理设置资源
广播变量带来的好处
Shuffle调优
Spark与GC相关概念理解
JVM GC引起的相关问题调优

Presto

Presto概述、架构
Presto部署
Presto API操作
综合案例实战

关于大数据云平台建设

大数据云平台建设涉及哪些功能
产品化设计思路
元数据在大数据平台中的设计思路
Spark VS Flink

这是一门Spark SQL课程 也是一门Spark工程师进阶课程

夯实基础与应用 熟练掌握SparkSQL

对Spark SQL重新认识

对Spark的使用

Spark SQL对接TEXT、JSON等内置Data Source API的使用

spark-shell/spark-sql/spark-submit的基本使用

Spark SQL API编程的基本API使用

项目需求的功能实现

基于本地的开发和测试

基于Spark SQL进行大数据离线处理

基本的统计分析

基础之上再进阶 冲击Spark中高级工程师

Spark SQL对接TEXT、JSON等内置Data SourceAPI的使用

结合Kudu达到更好更快的性能 / Presto框架的使用

对接Kudu的Data Source API使用

详细拆解开脚本讲解的启动流程

基于业务需求定制开发自己的UDF函数

通过“死去活来法” 进行参数的灵活配置及读取
讲解基于已实现功能如何逐步优化使得性能更佳
项目多轮重构,使得项目架构层级更清晰

通过设计 ,以传递最少参数在服务器上运行

讲解构建大数据云平台中涉及到的方方面面

面向复杂的统计分析时,进行复杂业务功能的拆解思路

学员专享增值服务

学习社群

课程专属学习交流群,与优秀的人共同进步:互相
帮助,共同分享。

课程源代码

免费提供课程源码,课程源码保持长期更新维护。

专题讨论

不定期组织技术话题讨论与群直播,疑难问题/热点
技术/职业规划/高效学习等热点观点等你参与。

问答社区

遇到困难随时提问,讲师亲自答疑解惑

适合人群

具备相关技术储备,想快速提升Spark技能以及想转行投身
大数据行业的小伙伴

技术储备要求

熟悉Linux常用操作 / 熟悉SQL基本使用
了解Hadoop基础知识 / 了解Scala基本语法

环境参数

  • JDK 1.8
  • Maven 3.6.1
  • Spark 2.4.3 当前社区发布的最新版
  • 大数据集成环境 企业生成应用稳定版CDH5.15.1系列
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信