收藏网站

使用 Ctrl+D 可将网站添加到书签

/ 实战 / 玩转热门框架用企业级思维开发通用够硬的大数据平台

玩转热门框架用企业级思维开发通用够硬的大数据平台

针对每个模块，提供成熟的选型视角与详细讲解，一次学习掌握大数据项目开发通用技术

难度中级时长 15小时学习人数 350 综合评分 10.00

立即购买加购物车

从企业需求入手，构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台，帮助我们快速掌握大数据平台开发技术，迅速建立大数据技术的宏观的认识。

叁金

讲师

大数据研发工程师

课程预览

检测到您还没有关注慕课网服务号，无法接收课程更新通知。请扫描二维码即可绑定

重新观看

基于大厂主流架构方案建立通用型企业级数据平台

原理+实战+面试带你一次学习掌握大数据项目开发通用技术

大厂思想更值钱

分析大厂架构方案
寻找共性、取长补短
构建够硬的通用数据平台

通用技术更保值

数仓权限/治理/调度
计算/查询/监控
通用&主流的技术栈
助你职场增值

技术思维双提升

技术基础+优化技巧
场景应用+面试答疑
内容丰富的课程
让实力全面提升

讲解五大模块带你一课了解主流大数据平台开发过程

覆盖通用型大数据平台开发的重点模块理解各个模块的设计思想和解决方案

通过真实开发场景认识并理解各个模块的

设计思想&解决方案

权限管理

Ranger集中管理
HDFS、Hive
多组件&细粒度
权限控制

任务调度

形成多任务依赖链
组织执行计划
定时触发+失败报警

计算引擎

Spark
实现高性能
提高并行度
结果复用/算子优选

查询分析

快速查询
多数据源查询
Presto On Yarn部署

集群监控

Open-Falcon
服务监控
资源监控
避免浪费

一个完整项目带你建立大数据技术大局观

俯瞰全项目理解通用型平台架构思想细数各组件掌握大数据开发高频技术

常用架构分析选型逐层深入打造大数据开发知识体系

全局认识大数据开发流程技术选型+思想提升+开发技能一次全搞定

离线数仓建设

常用的分层建设方案
Hive参数调优
执行流程

实时数仓架构

离线到实时的历程
Lambda/Kappa架构分析
大厂实时数据仓架构对比

安全权限

Hadoop/Hive自带认证
Kerberos服务认证对比
Apache Ranger
权限控制

数据采集及治理

常用数据采集工具介绍
DataX实战操作

作业调度

主流调度框架Azkaban
部署Azkaban服务
调度实战操作

计算/查询引擎

Spark调优策略
Presto配置优化
Presto On Yarn模式部署

集群监控

监控预警方案介绍
Open-Falcon
Hadoop/Presto监
控信息采集

学员专享增值服务

问答专区

关于课程的问题都可在问答区随时提问,讲师会进行
集中答疑

源码开放

课程案例代码完全开放给你，你可以根据所学知
识，自行修改、优化

适合人群

有大数据基础，希望提升综合运用能力
积累开发经验的
有自学能力，想要培养大数据全局观的

技术储备要求

Java开发经验
熟悉SpringBoot框架
熟悉Linux系统可熟练安装软件
了解常用大数据组件如Hadoop等

环境参数

Hadoop 2.8.5
Hive 2.3.6
数据安全框架 Apache Ranger 1.2.0
Spark 2.4.4
Azkaban 3.81.0
Presto 0.213
监控告警框架 OpenFalcon v0.3
JPA 1.0.2
Java框架 SpringBoot 2.1.3

万事俱备只等你来

慕设计8554713

好评

才知道“大数据平台”不仅仅是数仓那么简单。感觉自己之前的格局太小了，就扑到细节上。自上而下的角度去理解，竟然发现了很多之前学习过程中忽略掉的东西。更特别地是，我发现这种学习方法能够帮助我维持较长时间的学习兴趣，不会阶段性地产生厌烦情绪。感谢老师~
精慕门45742

好评

上帝视角纵览大数据平台全局，贴近企业需求，干货满满，值得学习
huichuan

好评

太强了，大数据平台，特别是面试的部分特别需要！