首页 实战 以慕课网日志分析为例 进入大数据Spark SQL的世界
收藏

大数据Spark SQL慕课网日志分析

为你找到快速转型大数据的突破口

以慕课网日志分析为例 进入大数据Spark SQL的世界

难度 中级 时长 19小时30分钟 学习人数 1644 综合评分 9.94

本课程以“慕课网日志分析”这一大数据应用案例为主线,使用慕课网真实日志,以目前主流的、最新的Spark稳定版2.1.x为基础,依次介绍相关的大数据技术:Hadoop、Hive、Spark SQL,涉及数据清洗、统计存储、处理入库以及数据可视化(Echarts、Zeppelin),最终会形成一个完整的大数据项目。

Michael_PK
讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

快速“变身”大数据攻城狮, 你的不二之选

一个有野心的攻城狮,只要你熟悉Linux、SQL和一门编程语言
就可以轻松华丽转型大数据攻城狮,“钱”途无限

以真实的“慕课网日志”这一应用案例为主线进行分析

采用最新的Spark稳定版2.1.x 为基础,依次介绍大数据热门技术:Hadoop、Hive、Sprak SQL

涉及数据清洗,统计存储,处理入库以及数据可视化(ECharts、Zeppelin)

最终形成一个完整的大数据项目

玩真的,用慕课网真实日志带你玩转大数据

Hadoop

HDFS

MapReduce

YARN

Hive

Hive在Hadoop生态系统的位置

Hive体系架构

Hive部署架构(测试环境、生产环境)

从Hive平滑过渡到Spark SQL

Spark 2.1.X

Spark生态圈

零基础搭建Spark环境

Spark和Hadoop的协作性

Spark开发语言及运行模式

Spark SQL

DataFrame & DataSet

External DataSource API

慕课网日志分析项目实战

Spark调优

Spark SQL慕课网日志分析

慕课网真实日志,应用Spark SQL轻松完成各个不同维度的统计分析,掌握大数据离线分析处理流程

大数据实战-Spark SQL慕课网日志分析

需求分析

剖析用户行为日志

离线数据处理架构

imooc日志内容构成

数据清洗

日志解析

IP地址解析

存储到目标地址

数据统计处理和入库

Scala操作MySQL工具类开发

功能实现

结果写到MySQL

数据可视化

ECharts饼图静态数据展示

ECharts饼图动态数据展示

Zeppelin统计结果展示

性能调优

Spark on YARN基础

存储/压缩格式的选择

代码/参数的优化

实战中深入体会Spark SQL特性

集成性好在Spark程序中无缝混合SQL、API查询

统一的数据访问以类似的方式连接到各种不同的外部数据源

兼容Hive已有Hive查询语句不用修改

支持标准连接通过JDBC、ODBC访问

Catalyst引擎底层有Catalyst进行自动优化

适合数据类型处理结构化与半结构化数据

学员专享增值服务

问答专区

讲师集中答疑

关于课程的问题都可在问答区随时提问,讲师会进行集中答疑

源码开放

整套代码下载

课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化

适合人群及技术储备要求

有编程基础,想转行投身大数据行业的工程师;

有一定Hadoop/Spark基础的,但想快速提升自身能力的小伙伴;

选择本课程最合适不过了,一起开启大数据学习之旅吧!

学前必备技术

熟悉常用Linux命令、基本SQL的使用

熟悉编程语言Java/Scala/Python的任意一门均可

没有Scala基础的学员,可以先学习主站的《Scala程序设计-基础篇》课程

环境参数

  • Linux版本 CentOS 6.4
  • Hadoop版本 CDH (hadoop-2.6.0-cdh5.7.0)
  • Hive版本 hive-1.1.0-cdh5.7.0
  • Scala版本 2.11.8
  • Spark版本 spark-2.1.0

万事俱备 只等你来

  • 秋名山车神

    好评

    课程做的非常的不错,条理清晰,每一步都非常的详细,而且课程用到的环境直接提供安装好的虚拟机文件,这一点对于很多新手来说是非常的友好的。 有不少人问我这个课程的难度如何,我只想说,这个课程不管是新手还是有经验的人,都能够有所收获,由浅入深,非常的容易理解。 虽然是使用Scala来进行操作,但是无论是Java还是Python,做起来都不会特别困难,真的是一门非常不错的课程,值得一看。

  • 匿名用户

    好评

    老师讲的非常非常好!!目前毕业一年多,在做运维,希望转向大数据方向;从开发的集群环境到代码都是一步步自己搭建和研究,受益匪浅。尤其是代码方面还需要提升,现在只有J2SE的基础,还要跟老师多多学习。同时希望老师能多出点课程,绝对支持。

  • Anaxagoras

    好评

    没有使用老师给的环境,自己一步一步搭起来实现所有的代码,linux基础得到了提升,大数据的知识也有了基本的认识。老师讲课思路非常清晰,课程分割的也相当不错,唯一的不足感觉就是相对偏简单了。已经继续购买了Spark Streaming,但从内容难度上说好像提升不大,希望老师能加深点难度,学到更多的干货。

查看全部407条用户评价
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题