课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览
介绍HBase是什么,能做什么,有哪些优缺点,适用于哪些应用场景,与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境支持。
介绍HBase基础原理,以读写流程为引,结合前面集群部署所展现的HBase三大模块,讲解HBase各个模块之间的协作,帮助我们了解HBase的运行机制。并对HBase进行实战操作,讲解基本的shell命令及java api。重点讲解如何通过过滤器筛选数据...
讲解HBase的高级特性,常用的优化策略,协处理器等,并实战开发协处理器,将开发的协处理器加载到HBase测试环境,验证其功能
HBase容灾策略的简要介绍,配合命令演示如何对数据进行备份和恢复。简要介绍HBase的监控重要性以及常用的监控方式。实战开发通过jmx获取HBase运行时数据,监控集群状态
对HBase业务应用过程中常用到的第三方开源工具Phoenix和Sqoop进行介绍和实战操作。Sqoop帮助我们快速的将关系库的数据导入到HBase,而Phoenix实现通过SQL对HBase进行数据查询功能,降低了我们学习HBase的门槛。
模拟提出一个企业中会遇到的实际的需求:如何构建一个对象存储服务。分析实现一个对象存储服务的可行性,以及如何对技术进行选型,HBase可以做哪些工作等
对我们需要实现的对象存储服务功能点进行梳理,并设计制定对象存储服务的实现方案,这里我们会讨论两种不同设计方案的功能差异及优缺点,最终选中其中一种方案并进行正式开发前期准备工作。
hos服务基础数据库选用mysql,本章实现基于SpringBoot+Mybatis的mysql数据库的操作模块,采用c3p0连接池,完成数据库链接的相关配置工作。
Hos服务用户管理模块开发,基于第九章的数据库操作模块,开发相关的实体类对用户的增删改查操作并对相关功能进行测试
本章节我们将一起实现基于Token的服务权限管理模块,梳理Token的认证机制,实现对Token的增删该查以及授权操作
Hos服务核心模块文件管理模块开发,包含Bucket的增删改查以及文件的增删改查操作,本节会通过zookeeper实现分布式锁,保证文件及文件夹的一致性。
Hos服务接口模块的开发,统一完成Hos服务的登录认证,权限验证以及各个功能的restful API,并利用Insomnia/Postman对各个接口的功能进行测试。
开发并测试Hos服务的SDK模块,SDK模块为基于HTTP接口的Hos服务访问模块,支持其他模块引用并对Hos进行操作。
OpenTSDB作为目前应用广泛的时序数据库被各大厂商的监控系统所使用,是我们工作中需要掌握的一项技能。它优秀的查询性能得益于良好的RowKey设计,而Rowkey设计是我们HBase表结构的重中之重,通过OpenTSDB的设计理念对于我们后续工作中对于RowKey的设计很有帮助。...
八年大厂数据架构和研发经验,专注于大数据平台研发和企业级数据治理。基于Hadoop生态完成多个企业级大数据平台的建设落地,对集群管理、数仓建设、数据计算、数据治理等方向有较深刻的理解。
如无法下载使用图片另存为
下载海报选课、学习遇到问题?
扫码添加指导老师 1V1 帮助你!
添加后老师会第一时间解决你的问题