首页实战 Hadoop 系统入门+核心精讲

Hadoop 系统入门+核心精讲

新手入门大数据要学的第一门课

￥288.00

已完结难度初级时长 24小时30分钟学习人数 2394 综合评分 9.98

立即购买加购物车

套餐1
套餐2
套餐3

Python3 大数据快速入门

套餐价格：¥599.00

2门课总价：¥654.00

立即购买

零基础入门spark实时处理

套餐价格：¥868.00

3门课总价：¥964.00

立即购买

零基础入门 Flink

套餐价格：¥619.00

2门课总价：¥687.00

立即购买

本课程带领你从Hadoop入门开始，逐步掌握大数据核心技术（HDFS、YARN、MapReduce、Hive开发与调优），并将这些技术应用到实战中，最终完成电商行为日志分析项目，助力探索高薪职业赛道。

Michael_PK

讲师

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号，无法接收课程更新通知。请扫描二维码即可绑定

重新观看

课程目标

系统掌握 Hadoop ，轻松跨入大数据领域

原理剖析、案例讲解、项目落地，把Hadoop学扎实、练通透

掌握 Hadoop 核心知识

从 Hadoop 2.x 到 Hadoop 3
迭代式掌握核心组件原理及新特性
构建完整的Hadoop知识体系

落地 Hadoop 经典项目

结合线上电商真实场景及数据进行实战
从需求分析,功能开发到集群部署
搞定Hadoop+Hive大数据离线处理

增强大数据面试竞争力

拆解企业级大数据面试题
剖析面试官意图，优化回答技巧
助力在面试中脱颖而出

课程亮点

大数据资深技术专家亲授，带你走稳入门第一步

体系化掌握 Hadoop 核心知识，打好坚实基础

初识Hadoop

Hadoop是什么

Hadoop核心组件

Hadoop生态系统

Hadoop发行版

分布式文件系统HDFS

HDFS架构及设计目标

HDFS单机部署

HDFS命令行、API操作

HDFS读写流程图解

HDFS Checkpoint

HDFS SaveMode

分布式计算框架MapReduce

MapReduce架构

MapReduce工作机制

MapReduce编程核心组件开发

基于MapReduce使用两种方式
实现SQL中的join功能

资源调度框架YARN

YARN产生背景

YARN架构及执行流程

YARN单机版部署

提交作业到YARN上执行

大数据的数据仓库Hive

产生背景

架构及部署

DDL操作及DML操作

Hive QL基本查询函数

Hive QL高阶函数

Hive核心调优

Hadoop分布式集群部署

集群规划

Hadoop部署

提交作业到集群上运行

Hadoop高级

Hadoop 小文件问题及解决方案

Hadoop 集群间数据拷贝

Hadoop 回收站

压缩在大数据中的使用

讲解细腻
有知识，也有避坑技巧

跟随官方技术升级进行更新
不定期讲师私货分享
真正的一次选择
持续收获……

阶段案例+综合实战，以真实数据，训练专业数据处理能力

阶段案例

HDFS API 实现文件读写

使用HDFS API实现词频统计

使用MapReduce升级词频统计

依据手机号实现流量统计

YARN实现项目部署

课程大纲

第1章大数据概述

第2章初识Hadoop

第3章分布式文件系统HDFS

第4章分布式计算框架MapReduce

第5章资源调度框架YARN

本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理
过程中涉及到的技术以及大数据典型应用。

本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优势、Hadoop的三个核心组件、Hadoop发行版的选择，为后续深入讲解
Hadoop打下坚实的基础。

本章将从Hadoop的设计目标、架构及文件系统命令空间出发，快速搭建单节点伪分布式HDFS的实验环境，通过讲解使用hdfs shell以及Java API的方式操作HDFS
文件系统，详细分析HDFS文件的读写流程，并通过HDFS API来实现词频统计案例，使得大家对Hadoop分布式文件系统HDFS有深刻的认识以及实战。

本章将从架构、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce，掌握MapReduce各个核心组件编程，并通过两个案例让大家深入掌握
MapReduce编程的方方面面。

本章将从YARN的产生背景、YARN的架构及执行流程的角度带大家认知Hadoop的资源调度框架YARN，快速搭建单节点伪分布式YARN的实验环境并掌握如何提交
MapReduce作业提交到YARN上运行。

查看完整目录

每个慕课网课程，都是一个专业的技术社区

个性化增值服务，学习有保障更高效

答疑专区+技术社区

连百度谷歌都搜不到的问题，在这里讲
师都将耐心详细解答，更有小伙伴一起
交流互动，共同进步。

课程全套代码下载

提供课程全套源代码下载包含：
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。

独家“动态”教辅材料

丰富的专属教辅资料实时上传更新，通过
课程教案、原理图解、技术文档、演示案
例等各种教材，保障你的学习效果。

不定期彩蛋更新

课程专属群直播，讲师私人经验分享，
覆盖更多开发场景与开发技巧；技术干
货总结与更新。

技术要求

熟悉Linux基本命令
了解Java SE的基础知识 / 了解MySQL的基本使用

环境参数

Linux版本： CentOS（7） / Hadoop版本： CDH（5.15.1）
开发工具： IDEA / 编程语言：JAVA

万事俱备只等你来

新手小白

好评

以前看过一些其他的Hadoop视频，觉得自己学的还不错，所以在慕课网看到本课程的时候还在犹豫是否有必要下手，睡了一觉，还是买了，心里是这么想的，如果老师讲的好就当复习，如果讲的一般那损失的也不大，当开始学习这课程的时候，发现PK哥的讲课思路非常清晰，同样的知识点能讲出不一样的东西，带着我们去官网学习，从这点上我就很佩服老师，让我们知道如何去进行学习，而不是一味的对着PPT或者Word讲稿念。课程我还没学完，结果发现老师又在课程群内做了直播分享，特别是小文件这个部分，真的受益匪浅。看视频的时候发现很多视频中的时间都是下半夜的，感谢老师的辛苦付出，为我们带来高质量的课程。以后就跟着PK哥混大数据了
SirHumphrey

好评

这门课买了好久一直没看，昨天刚开始看，真的感觉获益匪浅。讲的不仅仅是hadoop，在上课的时候讲到了很多工作用的但是上课没讲的细节东西，比如反射，单元测试，项目架构，虚拟机配置，算是一个java基础的全面教程，从初级阶段项目到重构到全过程也非常清晰，物超所值。私以为这比那些只讲业务逻辑不看源码的学习方式强太多了，学完这个基本就可以跨越java初学者阶段了/
我是毅哥

好评

首先说明一下，我是一个小菜鸟，小白。曾经咨询了解过、看过很多机构很多老师的入门大数据课程，但是唯独PK老师的课程，让我学大数据的信心非常强，课程非常详细，知识点针对性非常强，上课也很幽默，非常喜欢PK老师的课程。关键也加了PK老师的QQ了解过，原来大佬是企业在职上班的，其他机构的老师真的都不行，都不在职啊，脱离生产，个人感觉就算学了，去企业也干不好！PK老师，让我对学习大数据不再迷茫，给自己定个2019年目标，就是跟PK学大数据，转型做大数据，我相信我行的！