收藏

HBase+Spring Boot实战分布式文件存储

集群部署 / 原理讲解 / 高级特性 / 优化与容灾 / Phoenix和Sqoop / 开发实战

HBase+Spring Boot实战分布式文件存储(OpenTSDB实战升级)

已完结 难度 中级 时长 13小时 学习人数 493 综合评分 9.98
  • 第1章 课程简介 试看 3 节 | 13分钟

    课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览

    收起列表

    • 视频: 1-1 导学 (09:03) 试看
    • 图文: 1-2 学前必读(助你平稳踩坑,畅学无忧)
    • 视频: 1-3 课程技术分析 (03:40)
  • 第2章 HBase简介与环境部署 9 节 | 47分钟

    介绍HBase是什么,能做什么,有哪些优缺点,适用于哪些应用场景,与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境支持。

    收起列表

    • 视频: 2-1 HBase简介及其在大数据生态圈的位置 (07:21)
    • 视频: 2-2 HBase数据存储模型及与关系型数据库的区别 (11:59)
    • 视频: 2-3 Hadoop伪分布式集群安装 (11:21)
    • 视频: 2-4 HBase伪分布式集群安装 (06:58)
    • 视频: 2-5 HBase基础架构 (04:41)
    • 视频: 2-6 HBase阶段小结 (04:06)
    • 图文: 2-7 HBase安装之基础环境配置
    • 图文: 2-8 HBase安装之HBase集群部署
    • 图文: 2-9 HBase安装之访问阿里云部署的HBase
  • 第3章 HBase原理与实战 8 节 | 87分钟

    介绍HBase基础原理,以读写流程为引,结合前面集群部署所展现的HBase三大模块,讲解HBase各个模块之间的协作,帮助我们了解HBase的运行机制。并对HBase进行实战操作,讲解基本的shell命令及java api。重点讲解如何通过过滤器筛选数据...

    收起列表

    • 视频: 3-1 HBase写流程 (05:40)
    • 视频: 3-2 HBase读流程 (03:07)
    • 视频: 3-3 HBase模块协作 (09:16) 试看
    • 视频: 3-4 HBase实战:Shell命令实战 (15:32)
    • 视频: 3-5 HBase实战:Java Api实现HBase连接类 (11:52)
    • 视频: 3-6 HBase实战:Java Api实现HBase操作类 (25:40)
    • 视频: 3-7 HBase实战:用过滤器筛选数据 (11:21)
    • 视频: 3-8 HBase阶段小结 (03:49)
  • 第4章 HBase进阶 6 节 | 59分钟

    讲解HBase的高级特性,常用的优化策略,协处理器等,并实战开发协处理器,将开发的协处理器加载到HBase测试环境,验证其功能

    收起列表

    • 视频: 4-1 HBase优化策略一:服务端优化策略 (12:26)
    • 视频: 4-2 HBase优化策略二:常用优化策略 (06:01)
    • 视频: 4-3 HBase优化策略三:读写优化策略 (05:55)
    • 视频: 4-4 HBase协处理器简介 (05:16)
    • 视频: 4-5 HBase实战:开发RegionObserver协处理器 (18:36)
    • 视频: 4-6 HBase实战:HBase协处理器加载 (09:54)
  • 第5章 容灾与监控 4 节 | 48分钟

    HBase容灾策略的简要介绍,配合命令演示如何对数据进行备份和恢复。简要介绍HBase的监控重要性以及常用的监控方式。实战开发通过jmx获取HBase运行时数据,监控集群状态

    收起列表

    • 视频: 5-1 HBase备份与恢复 (18:12)
    • 视频: 5-2 HBase监控简介 (05:33)
    • 视频: 5-3 Hadoop JMX监控实战 (16:12)
    • 视频: 5-4 HBase JMX监控实战 (07:38)
  • 第6章 Phoenix & Sqoop 9 节 | 76分钟

    对HBase业务应用过程中常用到的第三方开源工具Phoenix和Sqoop进行介绍和实战操作。Sqoop帮助我们快速的将关系库的数据导入到HBase,而Phoenix实现通过SQL对HBase进行数据查询功能,降低了我们学习HBase的门槛。

    收起列表

    • 视频: 6-1 Phoenix简介 (07:17)
    • 视频: 6-2 Phoenix安装 (03:39)
    • 视频: 6-3 Phoenix实战:shell命令操作Phoenix (05:30)
    • 视频: 6-4 Phoenix实战:java jdbc操作Phoenix (03:18)
    • 视频: 6-5 通过mybatis操作Phoenix (08:26)
    • 视频: 6-6 通过mybatis操作Phoenix (24:35)
    • 视频: 6-7 Sqoop简介 (03:21)
    • 视频: 6-8 Sqoop数据导入实战 (09:53)
    • 视频: 6-9 课程小结 (09:27)
  • 第7章 需求分析与技术选型 2 节 | 17分钟

    模拟提出一个企业中会遇到的实际的需求:如何构建一个对象存储服务。分析实现一个对象存储服务的可行性,以及如何对技术进行选型,HBase可以做哪些工作等

    收起列表

    • 视频: 7-1 老板提出一个需求 (08:30)
    • 视频: 7-2 技术选型 (07:49)
  • 第8章 功能梳理与方案设计 3 节 | 49分钟

    对我们需要实现的对象存储服务功能点进行梳理,并设计制定对象存储服务的实现方案,这里我们会讨论两种不同设计方案的功能差异及优缺点,最终选中其中一种方案并进行正式开发前期准备工作。

    收起列表

    • 视频: 8-1 功能梳理和数据库设计 (23:30)
    • 视频: 8-2 文件存储设计方案一 (13:36)
    • 视频: 8-3 文件存储设计方案二 (11:18)
  • 第9章 子模块-数据库操作模块 3 节 | 46分钟

    hos服务基础数据库选用mysql,本章实现基于SpringBoot+Mybatis的mysql数据库的操作模块,采用c3p0连接池,完成数据库链接的相关配置工作。

    收起列表

    • 视频: 9-1 Zookeeper安装与HBase配置优化 (12:54)
    • 视频: 9-2 Hos开发逻辑梳理 (11:29)
    • 视频: 9-3 Hos模块划分及mybatis配置 (20:40)
  • 第10章 子模块-用户管理模块 2 节 | 30分钟

    Hos服务用户管理模块开发,基于第九章的数据库操作模块,开发相关的实体类对用户的增删改查操作并对相关功能进行测试

    收起列表

    • 视频: 10-1 Hos用户管理模块开发1 (17:29)
    • 视频: 10-2 Hos用户管理模块开发2 (12:20)
  • 第11章 子模块-权限管理模块 2 节 | 31分钟

    本章节我们将一起实现基于Token的服务权限管理模块,梳理Token的认证机制,实现对Token的增删该查以及授权操作

    收起列表

    • 视频: 11-1 Hos权限管理模块开发1 (13:27)
    • 视频: 11-2 Hos权限管理模块开发2 (17:04)
  • 第12章 子模块-文件管理模块 8 节 | 132分钟

    Hos服务核心模块文件管理模块开发,包含Bucket的增删改查以及文件的增删改查操作,本节会通过zookeeper实现分布式锁,保证文件及文件夹的一致性。

    收起列表

    • 视频: 12-1 Bucket管理模块开发 (20:46)
    • 视频: 12-2 HDFS和HBASE操作类1 (18:24) 试看
    • 视频: 12-3 HDFS和HBASE操作类2 (21:18)
    • 视频: 12-4 Hos文件管理模块实体类开发 (07:11)
    • 视频: 12-5 Hos创建删除Bucket方法开发 (12:42)
    • 视频: 12-6 Hos上传文件方法开发 (19:09)
    • 视频: 12-7 Hos获取文件方法开发 (14:45)
    • 视频: 12-8 Hos删除文件及列出文件方法开发 (16:43)
  • 第13章 子模块-接口模块 5 节 | 59分钟

    Hos服务接口模块的开发,统一完成Hos服务的登录认证,权限验证以及各个功能的restful API,并利用Insomnia/Postman对各个接口的功能进行测试。

    收起列表

    • 视频: 13-1 Hos服务登陆验证 (12:00)
    • 视频: 13-2 Hos服务web权限配置类开发 (09:22)
    • 视频: 13-3 Hos服务用户及权限管理接口开发 (11:08)
    • 视频: 13-4 Hos服务文件管理接口开发 (15:33)
    • 视频: 13-5 Hos服务API接口测试 (10:04)
  • 第14章 子模块-SDK模块 3 节 | 26分钟

    开发并测试Hos服务的SDK模块,SDK模块为基于HTTP接口的Hos服务访问模块,支持其他模块引用并对Hos进行操作。

    收起列表

    • 视频: 14-1 SDK模块HosClient类开发 (10:06)
    • 视频: 14-2 SDK模块HosClient功能开发 (10:02)
    • 视频: 14-3 SDK模块测试 (05:07)
  • 第15章 课程总结 1 节 | 6分钟

    对整个课程的所用到的理论,技术做一个简单的回顾总结,提出优化的空间

    收起列表

    • 视频: 15-1 课程总结 (05:53)
  • 第16章 (彩蛋番外篇)OpenTSDB实战 9 节 | 61分钟

    OpenTSDB作为目前应用广泛的时序数据库被各大厂商的监控系统所使用,是我们工作中需要掌握的一项技能。它优秀的查询性能得益于良好的RowKey设计,而Rowkey设计是我们HBase表结构的重中之重,通过OpenTSDB的设计理念对于我们后续工作中对于RowKey的设计很有帮助。...

    收起列表

    • 视频: 16-1 时序数据库简介 (07:00)
    • 视频: 16-2 OpenTSDB安装部署 (07:51)
    • 视频: 16-3 Opentsdb架构 (05:17)
    • 视频: 16-4 Opentsdb存储模型 (10:43)
    • 视频: 16-5 TCollector简介 (04:26)
    • 视频: 16-6 TCollector安装 (05:25)
    • 视频: 16-7 TCollector自定义脚本开发 (10:17)
    • 视频: 16-8 Grafana配置Opentsdb (07:06)
    • 视频: 16-9 课程小结 (02:55)
本课程已完结


讲师

叁金 JAVA开发工程师

八年大厂数据架构和研发经验,专注于大数据平台研发和企业级数据治理。基于Hadoop生态完成多个企业级大数据平台的建设落地,对集群管理、数仓建设、数据计算、数据治理等方向有较深刻的理解。

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题