大数据零基础入门求职路线
面向零基础用户,从Hadoop开始,以Flink和Spark两个核心框架为重心,配合生态圈周边框架进行实战,为您进军大数据领域铺平道路,助力快速入行转型!
大数据入门,Hadoop知识必不可少!聚焦大数据基石,保证广度和深度,完成大数据基础及离线能力构建,奠定入行第一步
掌握Hadoop、Hive、Scala、Flume框架的使用,构建离线数据仓库及核心源码的分析
1)Hadoop篇:Hadoop核心组件使用,单机&集群规划及部署
2)ZooKeeper篇:ZK的API编程、ZK完成Hadoop的高可用配置
3)Flume篇:生产上不同的场景的经典部署方案
4)Hive篇:DDL&DML操作、Hive函数、调优、源码分析
5)Scala篇:面向对象编程、集合、函数式编程、泛型、Akka编程
6)离线数仓构建:架构、选型、数据清洗、数据统计、可视化、调优
聚焦Flink,配套周边框架Kafka、Hudi、CDC,原理+实操+项目多维度教学,学懂学精,轻松掌握当前最热门框架
Flink+ClickHouse+Hudi+Kafka+CDC 一站式玩转实时开发
1)Kafka篇:剖析生产者、消费者、Broker的使用
2)Flink篇:彻底掌握DataStream、CDC、TableAPI&SQL的编程,并整合Kafka
3)CK篇:函数、核心引擎、元数据、整合Flink编程
4)数据湖篇:基于Hudi构建湖仓一体
聚焦Spark,配合Flume、Kafka、HBase,打造通用的实时处理解决方案
基于Spark3.X,掌握SS和SSS两种实时流处理解决方案
1、Spark Streaming核心编程
2、Structed Streaming核心编程
3、日志收集框架Flume的使用
4、分布式消息队列Kafka的使用
5、Spark Streaming 整合Flume、Kafka编程
6、Structed Streaming整合Flume、Kafka编程
快速入门之后,如何更加灵活的综合运用?本阶段将通过综合应用带你深入掌握,畅学无忧!
整合Redis和HBase打造以Spark技术栈为核心的离线处理及实时处理项目,达到企业级生产水平
1、离线通用处理架构&实时通用处理架构
2、Spark整合HBase使用时的调优
3、Kafka整合Spark Streaming的使用
4、根据不同的业务进行Redis数据类型的选择
*说明:路线内每门课程都具有完整独立的学习价值,因此一部分知识点可能重合,选择前请知晓!