路线详情:5步骤·8门课

Step1: Hadoop基础入门

大数据入门,Hadoop基础知识必不可少!本阶段课程将带你快速掌握Hadoop核心组件HDFS、MapReduce、YARN及Hive的使用,为后续学习打下坚实基础。

学习目标:

结合实战项目学习Hadoop及Hive的核心应用

课程重点:

1、分布式文件系统HDFS:架构、部署、命令行操作,API操作
2、分布式计算框架MapReduce:架构、编程模型及开发、工作机制
3、资源调度框架YARN:架构、执行流程、部署
4、大数据数据仓库Hive:DDL及DML操作

Hadoop HDFS MapReduce Hive Java
Step2: Scala语法入门

无论在Hadoop、Spark亦或者Flink领域,Scala的应用越来越广,是入行大数据的必备技能。本阶段课程将带你快速掌握Scala基本语法以及高级使用,助力快速入门!

学习目标:

掌握 Scala基本语法以及高级使用。

课程重点:

1、Scala函数、面向对象、集合的使用
2、Scala中函数式编程
3、Scala中隐式转换的使用

SpringBoot整合Scala 函数式编程 隐式转换 模式匹配
Step3: 数据处理之离线处理

本阶段将采用真实数据,结合企业实际生产场景,带领大家掌握Spark SQL在大数据离线处理中使用的方方面面。

学习目标:

掌握Spark SQL在大数据离线处理中使用的方方面面。

课程重点:

1、Spark SQL中基于DataFrame和Dataset核心编程
2、Spark SQL整合多种不同外部数据源的使用
3、Spark SQL整合Kudu的使用
4、Presto的使用

Hadoop SparkSQL Presto Kudu 性能调优 Scala
Step4: 数据处理之实时处理

本阶段将分别学习Spark Streaming、Flink以及Storm(三选一)在实时流处理中的应用,带你领略不同框架的实现之美!

学习目标:

掌握使用Spark Streaming整合Kafka、Flume、HBase在实时流处理中的使用。

课程重点:

1、日志收集框架Flume的使用
2、分布式消息队列Kafka的使用
3、Spark Streaming核心编程
4、Spark Streaming整合Flume、Kafka编程

Spark SparkStreaming Kafka Flume HBase Scala

学习目标:

以Java/Scala双语言实操实练,全面掌握Flink核心知识。

课程重点:

1、Flink的编程模型,以及DataSet、DataStream API、Table API&SQL编程
2、Flink中Time及Window操作,常用Connector的使用
3、Flink环境部署及作业提交方式

Flink Kafka DataStream Table API Java Scala

学习目标:

深入Storm内部机制,由浅入深讲解Storm在大数据实时处理中的使用。

课程重点:

1、Storm的核心概念、部署、分组策略、并行度调整
2、Storm的核心编程
3、Storm中DRPC的使用
4、使用Storm整合HDFS、HBase、JDBC、Redis、Kafka的使用

Storm Kafka Logstash Kibana Java
Step5: Spark综合实战

快速入门之后,如何更加灵活的综合运用?,本阶段将通过综合应用带你深入掌握,更为熟悉Python语言的开发者订制了专享课程,畅学无忧!

学习目标:

整合Redis和HBase打造以Spark技术栈为核心的离线处理以及实时处理项目。

课程重点:

1、离线通用处理架构&实时通用处理架构
2、Spark整合HBase使用时的调优
3、Kafka整合Spark Streaming的使用
4、根据不同的业务进行Redis数据类型的选择

Redis HBase Alluxio Scala

学习目标:

掌握Spark核心功能组件,结合调度框架Azkaban,完成作业调度。

课程重点:

1、Spark的核心概念、运行模式、Shuffle、Cache、依赖、常用调优策略
2、使用Python API实现DataFrame编程
3、使用Python开发Spark Streaming应用程序
4、Azkaban的架构、运行模式、部署、作业调度及二次开发思路

PySpark Azkaban RDD

*说明:路线内每门课程都具有完整独立的学习价值,因此一部分知识点可能重合,选择前请知晓!

路线:大数据零基础入门求职路线 2744人收藏
加入购物车
意见反馈 帮助中心 APP下载
官方微信