首页 实战 Spark+ES+ClickHouse 构建DMP用户画像
收藏

Spark+ES+ClickHouse 构建DMP用户画像

大数据主流技术,数据挖掘核心算法,用户画像完整知识轻松掌握

Spark+ES+ClickHouse 构建DMP用户画像

¥399.00
难度 中级 时长 15小时 学习人数 284 综合评分 9.85

行业竞争越来越激烈,精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源,已经成为企业必备的核心平台,人才缺口大,薪资高。本课程将基于大数据主流技术,数据挖掘核心算法,带你打造企业实用的用户画像平台,提升你的个人竞争力。

小简同学
讲师

推荐系统项目负责人

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看
课程目标

系统掌握用户画像完整知识,跨入大数据新宠领域

营销增长是企业的永恒使命,选对业务风口,技术变现更快速

高位设计
用户画像系统
带你从营销全局视角,分析用户
画像系统业务线条及关联逻辑,
并进行合理的架构设计。
多种算法
挖掘数据价值
只有经过挖掘整理的数据,才能
成为有价值的信息。TF-IDF、
FM算法、朴素贝叶斯、GBDT算
法,助力数据筛选。
自如使用
各大数据组件
工欲善其事,必先利其器。Spark
整合Clickhouse,ES,Hbase 等
大数据组件,开发顺畅无忧。
课程亮点

业务-算法-技术,环环相扣,轻松掌握完整用户画像知识体系

01. 业务逻辑
重点:

数仓的架构

数仓表的设计

人群去重

人群圈选

难点:

用户画像标签的复杂查询

用户画像标签的存储

Clickhouse OLAP

lookalike人群扩展

02. 算法原理
重点:

TF-IDF算法原理

FM算法原理

朴素贝叶斯算法原理

GBDT算法原理

难点:

基于Xgboost进行特征筛选

基于gbdt进行特征筛选

基于TF-IDF计算标签权重

时间衰减因素的计算

03. 技术体系
重点:

Spark实现Xgboost算法

Spark实现TF-IDF算法

Clickhouse的OLAP查询

Spark分别和Hive,Hbase,ES的整合

难点:

Spark ml包向量和mllib包向量的互换

Spark Pipeline如何实现特征工程流
程化

ES标签表结构的设计

ES+Hbase实现Hbase复杂查询

热门业务场景,企业应用标准,项目扩展性强,可复用

实现用户画像核心功能
· 标签管理

从用户属性到消费行为、偏好预测,
支持多种标签创建及维护管理,快速
构建标签体系。

· 用户分群

支持不同标签组合圈选,进行多种用
户分群,帮助运营人员轻松完成用户
筛选。

· 单用户画像

微观角度分析单用户,实现典型用户
分析,洞察目标用户画像。

· 用户群画像

宏观角度勾勒群体特征,寻找精准用
户群体,定位营销发力点。

从架构到开发部署,逐层递进,还原企业真实开发流程

课程大纲
第1章 DMP用户画像项目介绍
本章将向大家介绍什么是DMP,并辅以行业数据说明DMP的重要性和行业前景,并介绍课程讲解项目所会使用到的大数据技术,框架、版本以及推荐得学习方法。
第2章 项目环境搭建
本章将带领大家一起来学习,如何用 docker 一键部署开发环境;如何实现 Hive 数仓的数据导入;实用工具类的代码编写等,完成开发前得准备工作。
第3章 DMP和用户画像
本章会介绍,用户画像的生成流程,画像的标签维度,用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像,以及DMP用户画像的使用场景。
第4章 用户画像搭建之特征工程
本章会详细的讲解数值型特征,类别型特征,文本型特征的特征处理,以及特征交叉的算法 FM,特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取,以及基于 xgboost 的特征筛选。
第5章 用户画像搭建之标签体系构建
本章会详细的讲解,如何通过TF-IDF生成标签的权重;用户行为偏好标签的计算;标签在Hbase的存储格式;以及如何使用ES存储Hbase的索引,进而提高复杂组合标签的查询效率。
查看完整目录

每个慕课网课程,都是一个专业的技术社区

个性化增值服务,学习有保障更高效

答疑专区+技术社区
连百度谷歌都搜不到的问题,在这里讲
师都将耐心详细解答,更有小伙伴一起
交流互动,共同进步。
独家“动态”教辅材料
丰富的专属教辅资料上传更新,通过
课程教案、原理图解、技术文档、演示案
例等各种教材,保障你的学习效果。
课程全套代码下载
提供课程全套源代码下载,包含:
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。
实用图文资料
部分简单内容以图文形式呈现,与视频相
配合,既保障学习效果,又提高了学习效
率。
适合人群
工作1-2年的大数据开发工程师
对用户画像,DMP平台感兴趣的小伙伴
技术储备
熟悉 Springboot 基础操作
了解 Spark/Scala 基本语法
对常见算法有基本了解
环境参数
spark 2.3.0 – 2.4.x
clickhouse 21.3.4
hive 2.3.2 -- 3.1.x
hadoop 2.7.4 -- 3.2.x
hbase 1.2.6 -- 2.3.x
es 5.6.7 – 7.x
zookeeper 3.5.8
phoenix 4.13.1 – 5.1.x
提问
数据加载中...
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题