收藏

10小时入门大数据

初学者必学,轻松入门大数据

10小时入门大数据

难度 初级 时长 10小时30分钟 学习人数 1456 综合评分 9.59

10小时入门大数据

  • 第1章 大数据概述 9 节 | 39分钟

    本章将从几则故事说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的,还会介绍大数据的特性,以及大数据对我们带来的技术变革,大数据处理过程中涉及到的技术

    收起列表

    • 视频: 1-1 导学 (10:37)
    • 视频: 1-2 章节安排_ (00:43)
    • 视频: 1-3 OOTB镜像文件和虚拟机的使用 (04:33)
    • 视频: 1-4 说两则故事说起 (03:58)
    • 视频: 1-5 大数据与生活息息相关 (01:25)
    • 视频: 1-6 大数据基本概念 (05:52)
    • 视频: 1-7 大数据带来的挑战 (05:25)
    • 视频: 1-8 如何应对大数据带来的挑战 (03:05)
    • 视频: 1-9 -如何学好大数据 (02:55)
  • 第2章 初识Hadoop 10 节 | 60分钟

    本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优缺点、Hadoop的三个核心组件、Hadoop发行版的选择以及Hadoop在企业中的案例分享,为后续深入讲解Hadoop打下坚实的基础

    收起列表

    • 视频: 2-1 章节安排 (01:46)
    • 视频: 2-2 Hadoop概述 (07:26)
    • 视频: 2-3 2.03-Hadoop核心组件之HDFS (07:27)
    • 视频: 2-4 2.04-Hadoop核心组件之YARN (04:05)
    • 视频: 2-5 2.05-Hadoop核心组件之MapReduce (06:23)
    • 视频: 2-6 2.06-Hadoop优势 (02:03)
    • 视频: 2-7 2.07-Hadoop发展史 (07:28)
    • 视频: 2-8 2.08-Hadoop生态系统 (13:25)
    • 视频: 2-9 2.09-Hadoop常用发行版及选型 (06:06)
    • 视频: 2-10 2.10-Hadoop应用案例 (03:45)
  • 第3章 分布式文件系统HDFS 14 节 | 134分钟

    本章将从Hadoop的设计目标、架构及副本的脚本带大家详细剖析,快速搭建单节点伪分布式HDFS的实验环境,并讲解使用hdfs shell以及Java API的方式操作HDFS文件系统,并详细分析HDFS文件的读写流程,使得大家对Hadoop分布式文件系统HDFS有深刻的认识以及使用...

    收起列表

    • 视频: 3-1 -课程目录- (01:24)
    • 视频: 3-2 -普通分布式文件系统的设计思路 (07:56)
    • 视频: 3-3 HDFS概述及设计目标 (08:00)
    • 视频: 3-4 HDFS架构 (09:53)
    • 视频: 3-5 HDFS副本机制 (06:27)
    • 视频: 3-6 HDFS副本存放策略 (02:15)
    • 视频: 3-7 JDK安装&ssh安装&ssh免密码登陆配置 (09:42)
    • 视频: 3-8 HDFS伪分布式环境搭建 (17:16)
    • 视频: 3-9 HDFS shell操作 (14:20)
    • 视频: 3-10 Java操作HDFS开发环境搭建 (07:39)
    • 视频: 3-11 Java API操作HDFS文件系统 (31:58)
    • 视频: 3-12 HDFS写数据流程 (11:19)
    • 视频: 3-13 HDFS读数据流程 (03:34)
    • 视频: 3-14 HDFS文件系统的优缺点 (01:58)
  • 第4章 分布式资源调度YARN 6 节 | 47分钟

    本章将从YARN的产生背景、YARN的架构及执行流程的角度带大家认知Hadoop的资源调度框架YARN,快速搭建单节点伪分布式YARN的实验环境并掌握如何提交一个官方自带的MapReduce作业提交到YARN上运行

    收起列表

    • 视频: 4-1 -课程目录 (01:23)
    • 视频: 4-2 -YARN产生背景 (12:37)
    • 视频: 4-3 -YARN架构 (13:18)
    • 视频: 4-4 -YARN执行流程 (04:20)
    • 视频: 4-5 -YARN环境搭建 (08:22)
    • 视频: 4-6 -初识提交PI的MapReduce作业到YARN上执行 (06:08)
  • 第5章 分布式计算框架MapReduce 12 节 | 107分钟

    本章将从架构、优缺点、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce,掌握MapReduce应用程序的开发,学会配置JobHistory Server

    收起列表

    • 视频: 5-1 -课程目录 (00:50)
    • 视频: 5-2 -MapReduce概述 (07:34)
    • 视频: 5-3 -从WordCount案例说起MapReduce编程模型 (11:52)
    • 视频: 5-4 -MapReduce执行流程 (16:39)
    • 视频: 5-5 -MapReduce核心概念 (05:09)
    • 视频: 5-6 -MapReduce1.x架构 (07:12)
    • 视频: 5-7 -MapReduce2.x架构 (02:31)
    • 视频: 5-8 -Java版本wordcount功能实现 (23:38)
    • 视频: 5-9 -Java版本wordcount功能重构 (07:28)
    • 视频: 5-10 -Combiner应用程序开发 (06:02)
    • 视频: 5-11 -Partitioner应用程序开发 (08:31)
    • 视频: 5-12 JobHistory使用 (08:38)
  • 第6章 Hadoop项目实战 8 节 | 68分钟

    本章将通过对慕课网主站的访问日志进行分析的项目实战,来将前面几个章节讲解的知识点串联起来,综合使用Hadoop的技术进行离线统计分析

    收起列表

    • 视频: 6-1 -课程目录-- (01:05)
    • 视频: 6-2 用户行为日志概述 (13:19)
    • 视频: 6-3 离线数据处理架构 (10:54)
    • 视频: 6-4 项目需求 (02:40)
    • 视频: 6-5 功能实现之UserAgent解析类测试 (08:32)
    • 视频: 6-6 功能实现之单机本地完成需求统计 (16:06)
    • 视频: 6-7 使用MapReduce完成需求统计 (13:09)
    • 视频: 6-8 功能扩展思路 (01:14)
  • 第7章 Hadoop分布式集群搭建 8 节 | 40分钟

    本章将带领大家搭建一个三个节点的分布式Hadoop集群环境,让大家对于Hadoop集群的安装有更深入的认识,并将项目实战案例运行在分布式集群环境中

    收起列表

    • 视频: 7-1 -课程目录 (01:03)
    • 视频: 7-2 -分布式环境搭建之环境介绍 (04:40)
    • 视频: 7-3 -分布式环境搭建前置配置之ssh免密码登陆 (05:06)
    • 视频: 7-4 -分布式环境搭建前置配置之JDK安装 (02:10)
    • 视频: 7-5 -分布式环境搭建集群搭建之Hadoop配置及分发 (12:20)
    • 视频: 7-6 -分布式环境搭建Hadoop格式化及启停 (06:25)
    • 视频: 7-7 -分布式环境HDFS及YARN的使用 (02:21)
    • 视频: 7-8 -将Hadoop项目运行在Hadoop集群之上 (05:22)
  • 第8章 Hadoop集成Spring的使用 6 节 | 33分钟

    本章将带领大家使用Java社区中最流行的Spring框架来整合Hadoop的使用

    收起列表

    • 视频: 8-1 -课程目录 (01:13)
    • 视频: 8-2 -Spring Hadoop概述 (04:12)
    • 视频: 8-3 -Spring Hadoop开发环境搭建及访问HDFS文件系统 (15:10)
    • 视频: 8-4 -Spring Hadoop配置文件详解 (03:52)
    • 视频: 8-5 -Spring Boot访问HDFS文件系统 (06:10)
    • 视频: 8-6 -Spring Hadoop其他 (02:09)
  • 第9章 前沿技术拓展: Spark/Flink/Beam 12 节 | 78分钟

    本章将带领大家认识当前大数据领域中非常火爆的三个框架:Spark、Flink以及Beam,并使用这三个框架完成词频统计分析操作,为大家以后更加深入的学习这几个框架打下坚实的基础

    收起列表

    • 视频: 9-1 -课程目录 (01:57)
    • 视频: 9-2 -吐槽MapReduce (05:03)
    • 视频: 9-3 -Spark特点 (10:49)
    • 视频: 9-4 -Spark与Hadoop深入对比 (09:02)
    • 视频: 9-5 -Spark开发语言及运行模式介绍 (03:15)
    • 视频: 9-6 -Scala&Maven安装 (02:29)
    • 视频: 9-7 -Spark环境搭建及wordcount案例实现 (12:11)
    • 视频: 9-8 -Flink概述 (08:31)
    • 视频: 9-9 -使用Flink完成wordcount统计 (07:40)
    • 视频: 9-10 -Beam概述 (03:29)
    • 视频: 9-11 -将WordCount的Beam程序以多种不同Runner运行 (10:59)
    • 视频: 9-12 -课程目录 (01:57)
  • 第10章 Hadoop3.x新特性 7 节 | 31分钟

    本章将带来大家学习Hadoop3.x版本的一些新特性,实时跟上Hadoop社区的发展

    收起列表

    • 视频: 10-1 -课程目录 (01:11)
    • 视频: 10-2 -Hadoop3.x概述 (03:22)
    • 视频: 10-3 -Hadoop3.x新特性之Common改进 (06:19)
    • 视频: 10-4 -Hadoop3.x新特性之HDFS改进 (10:06)
    • 视频: 10-5 -Hadoop3.x新特性之YARN改进 (04:42)
    • 视频: 10-6 -Hadoop3.x新特性之MapReduce改进 (02:12)
    • 视频: 10-7 -Hadoop3.x新特性之其他 (02:59)
本课程已完结


讲师

Michael_PK 全栈工程师

八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。

讲师其他课程

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题