实战 \以慕课网日志分析为例 进入大数据 Spark SQL 的世界
收藏

大数据 Spark SQL慕课网日志分析

为你找到快速转型大数据的突破口

以慕课网日志分析为例 进入大数据 Spark SQL 的世界

难度 中级 ·
时长 18小时 ·
学习人数 1160 ·
综合评分 9.87分
¥ 366.00

以慕课网日志分析为例 进入大数据 Spark SQL 的世界

观看导学视频

以慕课网日志分析为例 进入大数据 Spark SQL 的世界
本课程以“慕课网日志分析”这一大数据应用案例为主线,使用慕课网真实日志,以目前主流的、最新的Spark稳定版2.1.x为基础,依次介绍相关的大数据技术:Hadoop、Hive、Spark SQL,涉及数据清洗、统计存储、处理入库以及数据可视化(Echarts、Zeppelin),最终会形成一个完整的大数据项目。
Michael__PK

资深大数据架构师

快速“变身”大数据攻城狮, 你的不二之选

一个有野心的攻城狮,只要你熟悉Linux、SQL和一门编程语言
就可以轻松华丽转型大数据攻城狮,“钱”途无限

以真实的“慕课网日志”这一应用案例为主线进行分析

采用最新的Spark稳定版2.1.x 为基础,依次介绍大数据热门技术:Hadoop、Hive、Sprak SQL

涉及数据清洗,统计存储,处理入库以及数据可视化(ECharts、Zeppelin)

最终形成一个完整的大数据项目

玩真的,用慕课网真实日志带你玩转大数据

Hadoop

HDFS

MapReduce

YARN

Hive

Hive在Hadoop生态系统的位置

Hive体系架构

Hive部署架构(测试环境、生产环境)

从Hive平滑过渡到Spark SQL

Spark 2.1.X

Spark生态圈

零基础搭建Spark环境

Spark和Hadoop的协作性

Spark开发语言及运行模式

Spark SQL

DataFrame & DataSet

External DataSource API

慕课网日志分析项目实战

Spark调优

Spark SQL慕课网日志分析

慕课网真实日志,应用Spark SQL轻松完成各个不同维度的统计分析,掌握大数据离线分析处理流程

大数据实战-Spark SQL慕课网日志分析

需求分析

剖析用户行为日志

离线数据处理架构

imooc日志内容构成

数据清洗

日志解析

IP地址解析

存储到目标地址

数据统计处理和入库

Scala操作MySQL工具类开发

功能实现

结果写到MySQL

数据可视化

ECharts饼图静态数据展示

ECharts饼图动态数据展示

Zeppelin统计结果展示

性能调优

Spark on YARN基础

存储/压缩格式的选择

代码/参数的优化

实战中深入体会Spark SQL特性

集成性好在Spark程序中无缝混合SQL、API查询

统一的数据访问以类似的方式连接到各种不同的外部数据源

兼容Hive已有Hive查询语句不用修改

支持标准连接通过JDBC、ODBC访问

Catalyst引擎底层有Catalyst进行自动优化

适合数据类型处理结构化与半结构化数据

学员专享增值服务

问答专区

讲师集中答疑

关于课程的问题都可在问答区随时提问,讲师会进行集中答疑

源码开放

整套代码下载

课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化

适合人群及技术储备要求

有编程基础,想转行投身大数据行业的工程师;

有一定Hadoop/Spark基础的,但想快速提升自身能力的小伙伴;

选择本课程最合适不过了,一起开启大数据学习之旅吧!

学前必备技术

熟悉常用Linux命令、基本SQL的使用

熟悉编程语言Java/Scala/Python的任意一门均可

没有Scala基础的学员,可以先学习主站的《Scala程序设计-基础篇》课程

环境参数

  • Linux版本 CentOS 6.4
  • Hadoop版本 CDH (hadoop-2.6.0-cdh5.7.0)
  • Hive版本 hive-1.1.0-cdh5.7.0
  • Scala版本 2.11.8
  • Spark版本 spark-2.1.0

万事俱备 只等你来

  • BaconNUDT

    这老师,绝了!!讲得特别清楚,最重要的一点是什么,老师带着大家一起读源码、读文档,让大家不在对这些感到陌生。老师讲课也挺有意思的,value丝、table丝,各种丝~,期待老师出streaming和ML的课程。

  • 十里桃花舞丶

    老师讲的真的很棒~跟着老师已经听了3门课了(突然想起来忘了评价这一门了。。),想问老师一个很重要的问题,那就是什么时候出大数据面试的课程呀,已经准备好下手抢购了~!

  • 小玲子zhl

    以前看spark官网,没有思考那么多,老师讲的让我恍然大悟,很好,学到了很多。期待老师别的课程

查看全部73条用户评价
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信