本课程以“慕课网日志分析”这一大数据应用案例为主线，使用慕课网真实日志，以目前主流的、最新的Spark稳定版2.1.x为基础，依次介绍相关的大数据技术：Hadoop、Hive、Spark SQL，涉及数据清洗、统计存储、处理入库以及数据可视化（Echarts、Zeppelin），最终会形成一个完整的大数据项目。
一个有野心的攻城狮，只要你熟悉Linux、SQL和一门编程语言就可以轻松华丽转型大数据攻城狮，“钱”途无限
以真实的“慕课网日志”这一应用案例为主线进行分析
采用最新的Spark稳定版2.1.x 为基础，依次介绍大数据热门技术：Hadoop、Hive、Sprak SQL
涉及数据清洗，统计存储，处理入库以及数据可视化（ECharts、Zeppelin）
最终形成一个完整的大数据项目
Hadoop
HDFS
MapReduce
YARN
Hive
Hive在Hadoop生态系统的位置
Hive体系架构
Hive部署架构（测试环境、生产环境）
从Hive平滑过渡到Spark SQL
Spark 2.1.X
Spark生态圈
零基础搭建Spark环境
Spark和Hadoop的协作性
Spark开发语言及运行模式
Spark SQL
DataFrame & DataSet
External DataSource API
慕课网日志分析项目实战
Spark调优
需求分析
剖析用户行为日志
离线数据处理架构
imooc日志内容构成
数据清洗
日志解析
IP地址解析
存储到目标地址
数据统计处理和入库
Scala操作MySQL工具类开发
功能实现
结果写到MySQL
数据可视化
ECharts饼图静态数据展示
ECharts饼图动态数据展示
Zeppelin统计结果展示
性能调优
Spark on YARN基础
存储/压缩格式的选择
代码/参数的优化
集成性好在Spark程序中无缝混合SQL、API查询
统一的数据访问以类似的方式连接到各种不同的外部数据源
兼容Hive已有Hive查询语句不用修改
支持标准连接通过JDBC、ODBC访问
Catalyst引擎底层有Catalyst进行自动优化
适合数据类型处理结构化与半结构化数据
问答专区
讲师集中答疑
关于课程的问题都可在问答区随时提问，讲师会进行集中答疑
源码开放
整套代码下载
课程案例代码完全开放给你，你可以根据所学知识，自行修改、优化
有编程基础，想转行投身大数据行业的工程师；
有一定Hadoop/Spark基础的，但想快速提升自身能力的小伙伴；
选择本课程最合适不过了，一起开启大数据学习之旅吧！
学前必备技术
熟悉常用Linux命令、基本SQL的使用
熟悉编程语言Java/Scala/Python的任意一门均可
没有Scala基础的学员，可以先学习主站的《Scala程序设计-基础篇》课程
秋名山车神
好评
课程做的非常的不错，条理清晰，每一步都非常的详细，而且课程用到的环境直接提供安装好的虚拟机文件，这一点对于很多新手来说是非常的友好的。 有不少人问我这个课程的难度如何，我只想说，这个课程不管是新手还是有经验的人，都能够有所收获，由浅入深，非常的容易理解。 虽然是使用Scala来进行操作，但是无论是Java还是Python，做起来都不会特别困难，真的是一门非常不错的课程，值得一看。
匿名用户
好评
老师讲的非常非常好！！目前毕业一年多，在做运维，希望转向大数据方向；从开发的集群环境到代码都是一步步自己搭建和研究，受益匪浅。尤其是代码方面还需要提升，现在只有J2SE的基础，还要跟老师多多学习。同时希望老师能多出点课程，绝对支持。
Anaxagoras
好评
没有使用老师给的环境，自己一步一步搭起来实现所有的代码，linux基础得到了提升，大数据的知识也有了基本的认识。老师讲课思路非常清晰，课程分割的也相当不错，唯一的不足感觉就是相对偏简单了。已经继续购买了Spark Streaming，但从内容难度上说好像提升不大，希望老师能加深点难度，学到更多的干货。
向您推荐
如无法下载使用图片另存为
下载海报选课、学习遇到问题？
扫码添加指导老师 1V1 帮助你！
添加后老师会第一时间解决你的问题
