/ 实战 / 以慕课网日志分析为例 进入大数据Spark SQL的世界
收藏

大数据Spark SQL慕课网日志分析

为你找到快速转型大数据的突破口

以慕课网日志分析为例 进入大数据Spark SQL的世界

难度 中级 时长 18小时40分钟 学习人数 1566 好评度 98.8% 更新时间 2019.05.13

以慕课网日志分析为例 进入大数据Spark SQL的世界

观看试看视频

以慕课网日志分析为例 进入大数据Spark SQL的世界
本课程以“慕课网日志分析”这一大数据应用案例为主线,使用慕课网真实日志,以目前主流的、最新的Spark稳定版2.1.x为基础,依次介绍相关的大数据技术:Hadoop、Hive、Spark SQL,涉及数据清洗、统计存储、处理入库以及数据可视化(Echarts、Zeppelin),最终会形成一个完整的大数据项目。
Michael__PK

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

快速“变身”大数据攻城狮, 你的不二之选

一个有野心的攻城狮,只要你熟悉Linux、SQL和一门编程语言
就可以轻松华丽转型大数据攻城狮,“钱”途无限

以真实的“慕课网日志”这一应用案例为主线进行分析

采用最新的Spark稳定版2.1.x 为基础,依次介绍大数据热门技术:Hadoop、Hive、Sprak SQL

涉及数据清洗,统计存储,处理入库以及数据可视化(ECharts、Zeppelin)

最终形成一个完整的大数据项目

玩真的,用慕课网真实日志带你玩转大数据

Hadoop

HDFS

MapReduce

YARN

Hive

Hive在Hadoop生态系统的位置

Hive体系架构

Hive部署架构(测试环境、生产环境)

从Hive平滑过渡到Spark SQL

Spark 2.1.X

Spark生态圈

零基础搭建Spark环境

Spark和Hadoop的协作性

Spark开发语言及运行模式

Spark SQL

DataFrame & DataSet

External DataSource API

慕课网日志分析项目实战

Spark调优

Spark SQL慕课网日志分析

慕课网真实日志,应用Spark SQL轻松完成各个不同维度的统计分析,掌握大数据离线分析处理流程

大数据实战-Spark SQL慕课网日志分析

需求分析

剖析用户行为日志

离线数据处理架构

imooc日志内容构成

数据清洗

日志解析

IP地址解析

存储到目标地址

数据统计处理和入库

Scala操作MySQL工具类开发

功能实现

结果写到MySQL

数据可视化

ECharts饼图静态数据展示

ECharts饼图动态数据展示

Zeppelin统计结果展示

性能调优

Spark on YARN基础

存储/压缩格式的选择

代码/参数的优化

实战中深入体会Spark SQL特性

集成性好在Spark程序中无缝混合SQL、API查询

统一的数据访问以类似的方式连接到各种不同的外部数据源

兼容Hive已有Hive查询语句不用修改

支持标准连接通过JDBC、ODBC访问

Catalyst引擎底层有Catalyst进行自动优化

适合数据类型处理结构化与半结构化数据

学员专享增值服务

问答专区

讲师集中答疑

关于课程的问题都可在问答区随时提问,讲师会进行集中答疑

源码开放

整套代码下载

课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化

适合人群及技术储备要求

有编程基础,想转行投身大数据行业的工程师;

有一定Hadoop/Spark基础的,但想快速提升自身能力的小伙伴;

选择本课程最合适不过了,一起开启大数据学习之旅吧!

学前必备技术

熟悉常用Linux命令、基本SQL的使用

熟悉编程语言Java/Scala/Python的任意一门均可

没有Scala基础的学员,可以先学习主站的《Scala程序设计-基础篇》课程

环境参数

  • Linux版本 CentOS 6.4
  • Hadoop版本 CDH (hadoop-2.6.0-cdh5.7.0)
  • Hive版本 hive-1.1.0-cdh5.7.0
  • Scala版本 2.11.8
  • Spark版本 spark-2.1.0

万事俱备 只等你来

  • BaconNUDT

    好评

    这老师,绝了!!讲得特别清楚,最重要的一点是什么,老师带着大家一起读源码、读文档,让大家不在对这些感到陌生。老师讲课也挺有意思的,value丝、table丝,各种丝~,期待老师出streaming和ML的课程。

  • 十里桃花舞丶

    好评

    老师讲的真的很棒~跟着老师已经听了3门课了(突然想起来忘了评价这一门了。。),想问老师一个很重要的问题,那就是什么时候出大数据面试的课程呀,已经准备好下手抢购了~!

  • 小玲子zhl

    好评

    以前看spark官网,没有思考那么多,老师讲的让我恍然大悟,很好,学到了很多。期待老师别的课程

查看全部169条用户评价
提问
数据加载中...
意见反馈 邀请有奖 帮助中心 APP下载
官方微信