首页 实战 Spark+ClickHouse实战企业级数据仓库,进军大厂必备
收藏

Spark+ClickHouse实战企业级数据仓库,进军大厂必备

掌握数仓构建,完善技术体系,轻松掌握高薪技能

Spark+ClickHouse实战企业级数据仓库,进军大厂必备

¥399.00
难度 中级 时长 27小时 学习人数 195 综合评分 10.00
Spark从入门到项目进阶实战
套餐价格:¥709.00
2门课 总价:¥787.00
立即购买
玩转主流引擎,实战离线/实时全场景数据开发
套餐价格:¥719.00
2门课 总价:¥798.00
立即购买

现阶段的数据开发领域,数据仓库作为企业战略决策的“大脑”,地位日益凸显,对数仓技术的掌握程度也成了大厂面试必考的一环。本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”,选取“大数据量企业数据仓库“这一典型场景,实战大数据量下数仓的建模、设计与调优等实用技巧,快速掌握ClickHouse+Spark核心技能,为晋级大数据架构师铺路!

xiaochen
讲师

大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

数据仓库被广泛应用于互联网业务中,就业前景极为广阔

实时推荐
新零售
精准营销
物流管理
数据仪
表盘
广告投放
绩效管理
交通出行
数据仓库
应用场景
数据仓库相关岗位及薪资
建模师
架构师
ETL工程师
运维工程师
大数据开发
BI工程师

结合热门技术,实战企业级数仓项目,轻松掌握高薪数据工程师必备技能

全方位提升项目开发经验,上手 ClickHouse+Spark,实现个人的成长蜕变

深度实战
数据仓库
模型设计与调优
数仓整体分层设计方案
维度表模型设计
面向业务过程的事实表建模
面向分析主题的事实表建模
千万级数据分析与调优
维度表存储选型
BI工具 Superset/Granfana的数据展示
系统掌握
ClickHouse
核心技能与生产实践
表引擎的使用和优化
ClickHouse 的 SQL优化
搭建分布式集群
ClickHouse 监控
Clickhouse 字典优化
负载均衡与高可用
生产实践优化
充分提升
Spark/ClickHouse
项目开发与实用操作
Spark 自定义 ClickHouse 外部数据源
Spark 的数据处理与调优
Spark 自定义本地分片写入策略
Spark 源码、开源组件源码二次开发
Spark 参数调优

通过更贴近生产实践的案例,掌握多种实用方案,满足复杂业务需求

遵照数仓分层模型,实战数据处理的各个环节,构建实用技术体系

课程大纲
第1章 从0到1搭建项目开发环境,快速上手大数据开发
本章将从0到1搭建大数据开发环境,通过IDEA+Maven构建多module项目,实现源码、启动脚本、配置等自动构建打包。
第2章 项目关键技术准备,学习通用的数据处理技术
本章对项目所用到关键技术进行封装,通过Spark UDF整合IP地址相关的转换功能、二分查找算法、通用Grok数据解析器等,并通过rewrite方式修改Grok组件源码,学习源码整合的思路。
第3章 项目数据准备,操练基于Spark的数据开发与优化
本章主要是基于Spark,模拟生成项目所需要的基础数据和安全访问日志数据,操练基于Spark对数据进行处理与优化技术。
第4章 初识OLAP数仓架构
本章主要介绍构建数仓的主流数据技术架构,以及基于ClickHouse的OLAP架构相比典型大数据架构的优势。
第5章 详解数据仓库基础理论,掌握数据仓库的实施流程
本章介绍数仓的基础理论、数据仓库的架构以及建模方法。基于当前主流的维度建模,学习数据仓库的构建流程以及分层模型的划分。
查看完整目录
专属服务

每个慕课网课程,都是一个专业的技术社区

个性化增值服务,学习有保障更高效

答疑专区+技术社区
连百度谷歌都搜不到的问题,在这里讲
师都将耐心详细解答,更有小伙伴一起
交流互动,共同进步。
课程全套代码下载
提供课程全套源代码下载,包含:
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。
独家“动态”教辅材料
丰富的专属教辅资料上传更新,通过课程
教案、原理图解、技术文档、演示案例等
各种教材,保障你的学习效果。
实用电子文档
部分简单内容以图文形式呈现,与视频
相配合,既保障学习效果,又提高了学
习效率。
适合人群
希望掌握实用的数据仓库建模、设计和调优能力
希望快速提升的ClickHouse技术能力
希望通过贴近生产实践的案例,提升大数据项目能力的同学
技术储备
熟悉Java/Scala基础的语法
了解SQL的基本使用
了解Spark基础
环境参数
Spark 3.2
ClickHouse 22.*
Hadoop 3.3
Scala 2.12
Java 1.8
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题