/ 实战 / Spark Streaming实时流处理项目实战
收藏

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming打造通用流处理平台

Spark Streaming实时流处理项目实战

难度 中级 时长 16小时 学习人数 1391 综合评分 9.88

Spark Streaming实时流处理项目实战

¥388.00

观看试看视频

Spark Streaming实时流处理项目实战
本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前非常火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!
Michael_PK

资深大数据架构师

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看

基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台

流行框架打造通用平台,直接应用于企业项目

处理流程剖析

日志产生器

使用Flume采集日志

将Flume收集到的数据输出到Kafka

Spark Streaming消费Kafka的数据进行统计

Spark Streaming如何高效的读写数据到Hbase

本地测试和生产环境使用的拓展

Java开发Spark要点拓展

炫酷的可视化效果

SpringBoot构建web项目,Echarts和DataV强强联手,让你体验看得见的大数据

对这门课感兴趣,但大数据基础薄弱怎么办

1、缺乏Scala基础,直线跳转《Scala程序设计-基础篇》

2、缺乏Hadoop基础,直线跳转《10小时入门大数据》

原理+场景,让你真正明白Spark Streaming

全面了解Spark Streaming的特性及场景应用,完成各个不同维度的统计分析

日志收集框架Flume

Flume架构及核心组件

Flume&JDK环境部署

Flume实战案例

分布式消息队列Kafka

Kafka架构及核心概念 / Zookeeper安装

Kafka单、多broker部署及使用

Kafka Producer Java API编程

Kafka Consumer Java API编程

1.入门

Spark Streaming概述及应用场景

Spark Streaming集成Spark生态系统使用

从词频统计功能着手入门Spark Streaming

Spark Streaming工作原理(粗/细粒度)

2.核心

StreamingContext/Dstream

Input DStreams和Receivers

Transformation和Output Operations

Spark Streaming处理socket/文件系统数据

3.进阶

updateStateByKey算子的使用

统计结果写入到MySQL数据库

窗口函数的使用、黑名单过滤

Spark Streaming整合Spark SQL操作

Streaming整合Flume

Push和Pull两种方式介绍

与Flume Agent配置

本地、服务器环境联调

整合Spark Streaming应用开发

Streaming整合Kafka

版本选择详解

Receiver和Direct两种方式

本地、服务器环境联调

整合Spark Streaming应用开发及测试

渐进式学习让你彻底学会整套流程的开发

需求分析 → 数据清洗 → 数据统计分析 → 统计结果入库 → 数据可视化

学员专享增值服务

问答专区

讲师集中答疑

关于课程的问题都可在问答区随时提问
讲师会进行集中答疑

源码开放

整套代码下载

课程案例代码完全开放给你,你可以
根据所学知识自行修改、优化

适合人群及技术储备要求

本课程适合有编程基础,想转行投身大数据行业的工程师,对你的学习能力及基础要求如下:

1、熟悉常用Linux命令的使用

2、掌握Hadoop、Spark的基本使用

3、至少熟悉一门编程语言Java/Scala/Python

万事俱备 只等你来

  • 慕运维3131515

    好评

    作为一个Java转型大数据的小白,买了PK哥所有的课程,从Hadoop基础=>Scala=>Spark=>Flink==>Spark进阶,一步步到实战,花了有6-7个月的时间,晚上下班回家以及周末,哪都不去,就关起门来学习,过程是痛苦的,特别在学习的过程中遇到各种各样的坑,这样要感谢PK哥的耐心指导,结果是完美了,顺利转型大数据,找到了个人比较满意的大数据工作。其实在看视频的过程中,发现很多视频中的时间都是下半夜的,觉得PK哥也是挺辛苦的,再次感谢PK哥,有种相见恨晚的感觉,希望PK哥后续继续为我们带来更多的大数据课程,我会一如既往的支持PK哥的课程,PK哥录啥我就学啥。

  • 慕妹9162326

    好评

    实战课就是针对有点基础就业的,老师讲的非常nice,还没学完,不过感觉离转型越来越近了,期待转型成功,老师大数据系列课程都很实用,学习之后解决了工作中遇到的一些实际问题。这门课容量比较大,还需要花些时间学习。

  • 有木有

    好评

    课程内容生动形象,也配有不少的例子,能够让人快速接受,一些小伙伴希望通过学习老师讲的课程就把整个Spark Streaming,我觉得是不大现实的,老师只是降低你入门的难度,让你快速上手,然后给你抛出一些思路,让你自己去思考生产中可能会遇见的实际问题,只有自己认真思考解决了,才能真正领悟其中的精髓,没有任何一个技术大牛,是老师带出来的,他们都是自己摸爬滚打多年,踩过无数坑所练就的,希望大家端正对课程的态度,认真思考和学习,坚持不懈很重要

查看全部311条用户评价
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信