/ 实战 / 玩转热门框架 用企业级思维 开发通用够硬的大数据平台
收藏

玩转热门框架 用企业级思维 开发通用够硬的大数据平台

针对每个模块,提供成熟的选型视角与详细讲解,一次学习掌握大数据项目开发通用技术

玩转热门框架 用企业级思维 开发通用够硬的大数据平台

难度 中级 时长 15小时 学习人数 90 综合评分 10.00

玩转热门框架 用企业级思维 开发通用够硬的大数据平台

观看试看视频

玩转热门框架 用企业级思维 开发通用够硬的大数据平台
课程分析了主流企业的大数据架构、带领大家构建自己的通用型大数据平台。从企业需求入手,构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台,内容涵盖各类开源组件基础知识、优化技巧、应用场景和常见面试问题等,帮助我们快速掌握大数据平台开发技术,迅速建立大数据技术的宏观的认识。最后实现了可视化展示。非常适合想要通揽大数据全貌、了解企业级开发的你
叁金

大数据研发工程师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

基于大厂主流架构方案 建立通用型企业级数据平台

原理+实战+面试 带你一次学习掌握大数据项目开发通用技术

大厂思想更值钱
分析大厂架构方案
寻找共性、取长补短
构建够硬的通用数据平台
通用技术更保值
数仓权限/治理/调度
计算/查询/监控
通用&主流的技术栈
助你职场增值
技术思维双提升
技术基础+优化技巧
场景应用+面试答疑
内容丰富的课程
让实力全面提升

讲解五大模块 带你一课了解主流大数据平台开发过程

覆盖通用型大数据平台开发的重点模块 理解各个模块的设计思想和解决方案

通过真实开发场景认识并理解各个模块的

设计思想&解决方案

权限管理

Ranger集中管理
HDFS、Hive
多组件&细粒度
权限控制

任务调度

形成多任务依赖链
组织执行计划
定时触发+失败报警

计算引擎

Spark
实现高性能
提高并行度
结果复用/算子优选

查询分析

快速查询
多数据源查询
Presto On Yarn部署

集群监控

Open-Falcon
服务监控
资源监控
避免浪费

一个完整项目 带你建立大数据技术大局观

俯瞰全项目 理解通用型平台架构思想 细数各组件 掌握大数据开发高频技术

常用架构分析选型 逐层深入打造大数据开发知识体系

全局认识大数据开发流程 技术选型+思想提升+开发技能 一次全搞定

离线数仓建设
常用的分层建设方案
Hive参数调优
执行流程
实时数仓架构
离线到实时的历程
Lambda/Kappa架构分析
大厂实时数据仓架构对比
安全权限
Hadoop/Hive自带认证
Kerberos服务认证对比
Apache Ranger
权限控制
数据采集及治理
常用数据采集工具介绍
DataX实战操作
作业调度
主流调度框架Azkaban
部署Azkaban服务
调度实战操作
计算/查询引擎
Spark调优策略
Presto配置优化
Presto On Yarn模式部署
集群监控
监控预警方案介绍
Open-Falcon
Hadoop/Presto监
控信息采集

学员专享增值服务

问答专区
关于课程的问题都可在问答区随时提问,讲师会进行
集中答疑
源码开放
课程案例代码完全开放给你,你可以根据所学知
识,自行修改、优化

环境参数

  • Hadoop 2.8.5
  • Hive 2.3.6
  • 数据安全框架 Apache Ranger 1.2.0
  • Spark 2.4.4
  • Azkaban 3.81.0
  • Presto 0.213
  • 监控告警框架 OpenFalcon v0.3
  • JPA 1.0.2
  • Java框架 SpringBoot 2.1.3
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信