收藏

Spark+ES+ClickHouse 构建DMP用户画像

大数据主流技术,数据挖掘核心算法,用户画像完整知识轻松掌握

Spark+ES+ClickHouse 构建DMP用户画像

¥399.00
难度 中级 时长 15小时 学习人数 237 综合评分 10.00
  • 第1章 DMP用户画像项目介绍 试看 5 节 | 33分钟

    本章将向大家介绍什么是DMP,并辅以行业数据说明DMP的重要性和行业前景,并介绍课程讲解项目所会使用到的大数据技术,框架、版本以及推荐得学习方法。

    收起列表

    • 视频: 1-1 关于这门课,你需要知道的 (08:34) 试看
    • 视频: 1-2 DMP项目的意义和课程的侧重点 (09:46)
    • 视频: 1-3 DMP项目架构及各个模块介绍 (09:35)
    • 视频: 1-4 项目技术选型及各组件版本 (04:30)
    • 图文: 1-5 【知识点梳理】本章重难点总结
  • 第2章 项目环境搭建 16 节 | 152分钟

    本章将带领大家一起来学习,如何用 docker 一键部署开发环境;如何实现 Hive 数仓的数据导入;实用工具类的代码编写等,完成开发前得准备工作。

    收起列表

    • 视频: 2-1 本章重点及学习计划 (01:59)
    • 视频: 2-2 基于docker一键部署大数据开发环境 (12:34) 试看
    • 图文: 2-3 【项目文档】环境部署步骤
    • 视频: 2-4 数据准备:表结构和数据导入Hive数仓 (16:06)
    • 图文: 2-5 【项目文档】表结构和数据导入Hive数仓步骤
    • 视频: 2-6 数据准备:Hive,ES,ClickHouse导入人群标签数据 (15:50)
    • 图文: 2-7 【项目文档】Hive,ES,ClickHouse导入人群标签数据步骤
    • 视频: 2-8 环境搭建和数据导入的常见问题及解决方案 (05:18)
    • 图文: 2-9 【项目文档】 项目整体架构及整体流程
    • 图文: 2-10 【项目文档】Hive、Hbase、ES、clickhouse表结构
    • 视频: 2-11 Springboot+JdbcTemplate+druid整合Hive(上) (11:58) 试看
    • 视频: 2-12 Springboot+JdbcTemplate+druid整合Hive(下) (13:26)
    • 视频: 2-13 Springboot+Mybatis+phoenix整合Hbase (30:48)
    • 视频: 2-14 Springboot整合ClickHouse(上) (17:00)
    • 视频: 2-15 Springboot整合ClickHouse(下) (06:32)
    • 视频: 2-16 Spark+phoenix整合Hbase (19:53)
  • 第3章 DMP和用户画像 7 节 | 27分钟

    本章会介绍,用户画像的生成流程,画像的标签维度,用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像,以及DMP用户画像的使用场景。

    收起列表

    • 视频: 3-1 本章重点及学习计划 (01:39)
    • 视频: 3-2 用户画像是如何生成的 (05:34)
    • 视频: 3-3 用户画像的标签维度 (04:12)
    • 视频: 3-4 如何构建高质量的用户画像 (06:31)
    • 视频: 3-5 用户画像和特征工程 (03:30)
    • 视频: 3-6 DMP用户画像的正确使用场景 (04:49)
    • 图文: 3-7 【知识点梳理】本章重难点总结
  • 第4章 用户画像搭建之特征工程 16 节 | 189分钟

    本章会详细的讲解数值型特征,类别型特征,文本型特征的特征处理,以及特征交叉的算法 FM,特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取,以及基于 xgboost 的特征筛选。

    收起列表

    • 视频: 4-1 本章重点及学习计划 (02:59)
    • 视频: 4-2 特征工程流程 (06:08)
    • 视频: 4-3 数值型数据的特征提取 (07:32)
    • 视频: 4-4 文本型数据的特征提取 (07:48)
    • 视频: 4-5 使用Spark实现中文分词+TF-IDF (17:34)
    • 视频: 4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取(上) (15:32)
    • 视频: 4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取(下) (13:57)
    • 视频: 4-8 类别型和时间型数据的特征提取 (06:48)
    • 视频: 4-9 构建新特征之特征交叉 (04:50)
    • 视频: 4-10 基于FM的特征交叉 (10:22)
    • 视频: 4-11 Spark实现基于FM的特征交叉 (41:32)
    • 视频: 4-12 特征筛选之GBDT和xgboost (14:16)
    • 视频: 4-13 Spark实现基于Xgboost的特征筛选(上) (19:56)
    • 视频: 4-14 Spark实现基于Xgboost的特征筛选(下) (13:41)
    • 视频: 4-15 特征监控方案设计 (05:27)
    • 图文: 4-16 【知识点梳理】本章重难点总结
  • 第5章 用户画像搭建之标签体系构建 11 节 | 139分钟

    本章会详细的讲解,如何通过TF-IDF生成标签的权重;用户行为偏好标签的计算;标签在Hbase的存储格式;以及如何使用ES存储Hbase的索引,进而提高复杂组合标签的查询效率。

    收起列表

    • 视频: 5-1 本章重点及学习计划 (01:38)
    • 视频: 5-2 电商行业的标签体系以及reachCTR曲线 (11:24)
    • 视频: 5-3 用户行为标签的ES存储 (27:21)
    • 视频: 5-4 基于TF-IDF的标签权重算法(上) (13:19)
    • 视频: 5-5 基于TF-IDF的标签权重算法(中) (11:06)
    • 视频: 5-6 基于TF-IDF的标签权重算法(下) (10:32)
    • 视频: 5-7 时间衰减因子和用户偏好标签的计算(上) (18:35)
    • 视频: 5-8 时间衰减因子和用户偏好标签的计算(下) (20:58)
    • 视频: 5-9 ES构建Hbase二级索引对标签进行组合查询 (19:36)
    • 视频: 5-10 商品标签与用户画像标签的匹配度 (04:10)
    • 图文: 5-11 【知识点梳理】本章重难点总结
  • 第6章 用户画像搭建之群体用户画像构建 12 节 | 142分钟

    本章会讲解,如何通过朴素贝叶斯,实现用户性别预测,基于RFM模型对用户价值进行分群,基于K-Means对用户的消费等级进行分群,并会带领大家认识用户分群的时间衰减因素。

    收起列表

    • 视频: 6-1 本章重点及学习计划 (01:21)
    • 视频: 6-2 朴素贝叶斯分类算法 (09:25)
    • 视频: 6-3 使用Spark-ml实现基于朴素贝叶斯预测性别(上) (18:23)
    • 视频: 6-4 使用Spark-ml实现基于朴素贝叶斯预测性别(中) (19:55)
    • 视频: 6-5 使用Spark-ml实现基于朴素贝叶斯预测性别(下) (05:05)
    • 视频: 6-6 基于RFM模型的用户价值划分及Spark代码(上) (06:03)
    • 视频: 6-7 基于RFM模型的用户价值划分及Spark代码(下) (21:38)
    • 视频: 6-8 使用Spark-ml实现基于Kmeans的用户消费分群 (26:16)
    • 视频: 6-9 通过订单数据挖掘用户的的行为属性及Spark代码(上) (15:42)
    • 视频: 6-10 通过订单数据挖掘用户的的行为属性及Spark代码(下) (08:19)
    • 视频: 6-11 DMP的用户分群 (09:38)
    • 图文: 6-12 【知识点梳理】本章重难点总结
  • 第7章 用户画像搭建之DMP人群管理 15 节 | 149分钟

    本章会通过 DMP 演示如何管理人群标签,生成人群包数据,人群圈选,以及人群扩展。并且使用 Clickhouse 做人群洞察分析。

    收起列表

    • 视频: 7-1 本章重点及学习计划 (01:33)
    • 视频: 7-2 通过不同算法给用户打上标签后的业务应用 (04:38)
    • 视频: 7-3 ES,ClickHouse导入万级人群标签数据 (17:18)
    • 视频: 7-4 Mysql导入标签数据 (06:18)
    • 视频: 7-5 DMP的标签管理 (12:53)
    • 视频: 7-6 DMP生成人群包数据 (19:16)
    • 视频: 7-7 人群组合和人群去重 (22:56)
    • 视频: 7-8 lookalike的主要算法 (04:14)
    • 视频: 7-9 ClickHouse和ES在人群圈选上的对比 (05:40)
    • 视频: 7-10 ClickHouse集成Bitmap (10:50)
    • 视频: 7-11 基于宽表的ClickHouse人群圈选 (04:40)
    • 视频: 7-12 将Hive数据导入到ClickHouse (10:33)
    • 视频: 7-13 将Hive数据转换为ClickHouse的Bitmap (11:33)
    • 视频: 7-14 基于Bitmap的ClickHouse人群圈选 (16:05)
    • 图文: 7-15 本章知识点梳理
  • 第8章 项目展示及版本升级解决方案 7 节 | 90分钟

    本章会模拟生产环境集群的形式,展示项目实际运行效果,并结合框架版本升级,讲解踩坑秘笈。

    收起列表

    • 视频: 8-1 项目完整演示(上) (14:55)
    • 视频: 8-2 项目完整演示(下) (12:51)
    • 视频: 8-3 Spark模块本地运行完整演示 (05:58)
    • 视频: 8-4 Spark模块集群运行完整演示(上) (16:56)
    • 视频: 8-5 Spark模块集群运行完整演示(下) (14:27)
    • 视频: 8-6 版本升级解决方案 (04:14)
    • 视频: 8-7 课程总结 (20:05)
本课程已完结

试看

全部试看小节



讲师

小简同学 全栈工程师

6年大数据开发挖掘经验,目前在一线大数据分析平台服务供应商,担任推荐系统项目负责人。负责的项目日均日志量达2T,企业核心业务指标比原来提升20%。主持过多个的内部技术分享。

讲师其他课程

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看
意见反馈 帮助中心 APP下载
官方微信

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题