首页 实战
收藏

从0到1训练私有大模型 ，企业急迫需求，抢占市场先机

从核心原理、技术+ PEFT微调大模型+ LangChain构建知识库问答，你也能打造属于自己的大模型ChatGPT

已完结
|
难度：中级
|
时长：共 35 小时
￥299.00
距离活动结束
立即购买
加购物车
已有 623 人在学
  • 从0到1训练你自己的大模型
  • 揭密核心BERT和GPT等大模型
  • ChatGPT等大模型的训练原理
  • PEFT微调大模型解决场景需求
  • 多NLP任务逻辑解决实际问题
  • LangChain+大模型问答搭建
试看本节课 18:25
试看本节课 09:13
试看本节课 21:22
1-1 【导航】课程导学&让你快速了解课程
1-2 【内容安排】课程安排和学习建议
1-3 【行业发展】ChatGPT对行业、社会有什么影响，我们要如何应对
结合ChatGPT实现智能助手只是第一步？企业真正急迫需求是构建符合自己业务需求的AI智能助手，核心技能训练和微调私有的大模型？本课深入企业需求，从ChatGPT背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出。
展开所有

本章介绍：

介绍chatGPT的出现会对社会和我们个人带来怎样的改变，以及我们要如何应对、为什么要学习ChatGPT。快速了解课程的安排和内容。

第1章 课程介绍
5 节｜62分钟
展开
  • 视频：
    1-1 【导航】课程导学&让你快速了解课程
    试看
    18:25
  • 视频：
    1-2 【内容安排】课程安排和学习建议
    试看
    09:13
  • 视频：
    1-3 【行业发展】ChatGPT对行业、社会有什么影响，我们要如何应对
    试看
    21:22
  • 视频：
    1-4 【发展史】ChatGPT的简要历史
    09:53
  • 视频：
    1-5 【学习须知】本课程为什么使用gpt2而不是gpt3
    03:03

本章介绍：

第一步搭建搭建开发环境，介绍百度的aistudio以及paddlepaddle。指引对于没有显卡资源的同学如何通过aistudio免费使用v100、和亚马逊的算力资源。

第2章 训练模型与开发平台环境
5 节｜30分钟
收起
  • 视频：
    2-1 【认知】为什么要引入paddle？平时使用torch，学习paddle貌似没用怎么办？
    04:06
  • 视频：
    2-2 【框架】paddle和torch与tensorflow对比
    07:14
  • 视频：
    2-3 【NLP工具和预训练模型】paddleNLP和huggingface
    03:23
  • 视频：
    2-4 【平台】介绍aistudio
    07:53
  • 视频：
    2-5 【工具】介绍基于gpt4的IDE cursor
    06:51

本章介绍：

本章了解了解chatGPT初始技术，讲解并代码实践了语言模型最初的词向量技术word2vec。以及LSTM和基于LSTM的动态词向量ELMo。

第3章 chatGPT初始技术词向量原理剖析与实战
12 节｜176分钟
收起
  • 视频：
    3-1 【认知】词向量，词向量与gpt的关系
    05:22
  • 视频：
    3-2 【语言模型】语言模型和评估指标PPL
    13:28
  • 视频：
    3-3 【词向量模型】word2vec-cbow和skipgram
    08:15
  • 视频：
    3-4 【softmax加速】是softmax 树型优化
    14:46
  • 视频：
    3-5 【softmax加速】softmax负采样优化
    13:49
  • 视频：
    3-6 【数据准备与预处理】word2vec实战（1）
    24:53
  • 视频：
    3-7 【数据准备与预处理】word2vec实战（2）
    18:49
  • 视频：
    3-8 【模型训练】word2vec实战-模型开发和训练（1）
    15:17
  • 视频：
    3-9 【模型训练】word2vec实战-模型开发和训练（2）
    14:33
  • 视频：
    3-10 【激活函数】常见七种激活函数对比
    15:29
  • 视频：
    3-11 【预训练语言模型】RNN-LSTM-ELMO
    25:49
  • 视频：
    3-12 本章梳理小结
    05:06

本章介绍：

本章从seq2seq结构与注意力机制的基础讲起，通过具体案例展示其应用。随后，详细解析了Transformer的核心组件，包括多头注意力机制、残差链接解决梯度消失问题、LayerNorm提升训练稳定性，以及解码器的运作机制。此外，还探讨了sparse-Transformer稀疏模型与Transformer-XL在解决长序列问题上的创新。最后，本章进行了全面梳理与总结，为理解chatGPT的强大能力提供了坚实的理论基础。

第4章 chatGPT基石模型——基于Transformer架构的语言模型
11 节｜117分钟
展开
  • 视频：
    4-1 本章介绍
    01:32
  • 视频：
    4-2 seq2seq结构和注意力
    15:23
  • 视频：
    4-3 seq2seq-attention的一个案例
    07:37
  • 视频：
    4-4 transformer的multi-head attention 多头注意力机制
    23:07
  • 视频：
    4-5 transformer的残差链接-解决梯度消失问题
    07:43
  • 视频：
    4-6 transformer的layernorm-归一化提升训练稳定性
    07:21
  • 视频：
    4-7 transformer的decoder 解码器
    09:11
  • 视频：
    4-8 sparse-transformer 稀疏模型
    08:31
  • 视频：
    4-9 transformer-xl 解决长序列的问题（1）
    14:34
  • 视频：
    4-10 transformer-xl解决长序列的问题（2）
    16:10
  • 视频：
    4-11 本章梳理总结
    04:52

本章介绍：

本章全面探索了Transformer架构的另一重要分支——Bert系列模型。从评估指标、subword算法、常见NLP任务等基础讲起，深入分析了Bert预训练模型及其在情感分析任务中的Paddle实战应用。同时，讲解了Bert论文，并动手实践开发了一个Bert。讲了基于bert的ernie和plato。

第5章 基于Transformer另一分支Bert系列分析与实战
16 节｜211分钟
展开
  • 视频：
    5-1 本章介绍
    01:14
  • 视频：
    5-2 metric-评估指标(BLUE-rouge-L-METOER-NIST)
    22:49
  • 视频：
    5-3 常见 subword 算法（BPE-wordpiece）
    07:00
  • 视频：
    5-4 常见的NLP任务
    06:38
  • 视频：
    5-5 bert 预训练模型
    25:29
  • 视频：
    5-6 bert情感分析实战----paddle（1）
    17:22
  • 视频：
    5-7 bert情感分析实战----paddle（2）
    18:48
  • 视频：
    5-8 evaluate和predict方法----paddle
    10:49
  • 视频：
    5-9 bert(transformer encoder)主要源码分析----paddle（1）
    14:12
  • 视频：
    5-10 bert(transformer encoder)主要源码分析----paddle（2）
    12:31
  • 视频：
    5-11 bert(transformer encoder)的完整源码cache部分分析----paddle
    15:21
  • 视频：
    5-12 Ernie文心一言基础模型（1）
    14:35
  • 视频：
    5-13 Ernie文心一言基础模型（2）
    06:27
  • 视频：
    5-14 plato百度对话模型（1）
    14:56
  • 视频：
    5-15 plato 百度对话模型（2）
    14:13
  • 视频：
    5-16 本章总结
    07:51

本章介绍：

讲解了后面ChatGPT训练依赖的强化学习相关知识。从RL基础概念到马尔可夫过程，再到三种主要方法、DQN及其改进算法、Actor-Critic框架、TRPO与PPO等高级算法，全方位展示了强化学习的理论框架与实战应用。通过PyTorch框架的代码实践。最后，本章总结了强化学习的关键点，为掌握chatGPT的先进技术提供了坚实支撑。

第6章 chatGPT的核心技术——强化学习
18 节｜275分钟
展开
  • 视频：
    6-1 RL是什么＆为什么要学习RL
    14:11
  • 视频：
    6-2 强化学习章介绍
    02:53
  • 视频：
    6-3 RL基础概念
    07:06
  • 视频：
    6-4 RL马尔可夫过程
    17:39
  • 视频：
    6-5 RL三种方法（1）
    16:40
  • 视频：
    6-6 RL三种方法（2）
    06:07
  • 视频：
    6-7 DQN和DQN的2种改进算法（1）
    13:46
  • 视频：
    6-8 DQN和DQN的2种改进算法（2）
    16:21
  • 视频：
    6-9 actor-critic（1）
    24:54
  • 视频：
    6-10 actor-critic（2）
    08:14
  • 视频：
    6-11 TRPO+PPO（1）
    23:23
  • 视频：
    6-12 TRPO+PPO（2）
    18:28
  • 视频：
    6-13 DQN代码实践--torch-1
    20:28
  • 视频：
    6-14 DQN代码实践--torch-2
    19:05
  • 视频：
    6-15 DoubleDQN+DuelingDQ代码--torch
    11:49
  • 视频：
    6-16 REINFORCE代码--torch
    20:18
  • 视频：
    6-17 PPO代码实践--torch
    23:03
  • 视频：
    6-18 强化学习-本章总结
    10:24

本章介绍：

本章追溯了chatGPT技术的前身，从GPT-1的初步探索，到GPT-2的扩展，再到GPT-3的飞跃性发展，展现了自然语言处理领域大模型技术的演进历程。同时，介绍了基于GPT技术开发的多个重要模型，如GPT-Codex、AlphaCode及Instruct-GPT。此外讲解了GPT系列论文，以及代码生成的2篇论文和ChatGPT训练的相关逻辑。

第7章 chatGPT技术演变——从GPT 1 开始的大模型发展与演化
11 节｜159分钟
展开
  • 视频：
    7-1 GPT1 模型
    14:46
  • 视频：
    7-2 GPT2 模型
    14:00
  • 视频：
    7-3 GPT3 模型-1
    15:55
  • 视频：
    7-4 GPT3 模型-2
    12:06
  • 视频：
    7-5 gpt-codex 基于GPT技术开发的模型
    12:58
  • 视频：
    7-6 alphaCode基于GPT技术开发的模型-1
    16:13
  • 视频：
    7-7 alphaCode基于GPT技术开发的模型-2
    09:57
  • 视频：
    7-8 instruct-gpt 基于GPT技术开发的模型-1
    13:44
  • 视频：
    7-9 instruct-gpt 基于GPT技术开发的模型-2
    16:43
  • 视频：
    7-10 Antropic LLM大型语言模型
    24:41
  • 视频：
    7-11 GPT-本章总结
    07:21

本章介绍：

本章详细阐述了如何使用RLHF方法训练类ChatGPT模型的全过程。从SFT有监督训练的数据处理、模型训练，到RM奖励模型训练，再到RLHF强化学习人类反馈训练。通过一步步的代码实践，使读者能够深入理解并掌握ChatGPT类模型的训练流程与关键技术。

第8章 RLHF训练类ChatGPT模型代码实战
19 节｜311分钟
展开
  • 视频：
    8-1 chatGPT训练实战
    08:52
  • 视频：
    8-2 SFT有监督的训练-数据处理
    22:06
  • 视频：
    8-3 SFT有监督训练-trainer
    18:19
  • 视频：
    8-4 SFT有监督训练-train
    22:08
  • 视频：
    8-5 RM训练-model+dataset（1）
    16:33
  • 视频：
    8-6 RM训练-model+dataset（2）
    14:51
  • 视频：
    8-7 RM训练-trainer
    13:48
  • 视频：
    8-8 RM训练-train-rm
    11:43
  • 视频：
    8-9 RLHF强化学习人类反馈的训练-dataset
    07:50
  • 视频：
    8-10 RLHF强化学习人类反馈的训练-model-base
    12:17
  • 视频：
    8-11 RLHF强化学习人类反馈的训练-model-opt
    08:11
  • 视频：
    8-12 RLHF强化学习人类反馈的训练-generation（1）
    16:53
  • 视频：
    8-13 RLHF强化学习人类反馈的训练-generation（2）
    16:22
  • 视频：
    8-14 RLHF强化学习人类反馈的训练-exp_maker（1）
    15:14
  • 视频：
    8-15 RLHF强化学习人类反馈的训练-exp_maker（2）
    17:18
  • 视频：
    8-16 RLHF强化学习人类反馈的训练-buffer-utils
    28:18
  • 视频：
    8-17 RLHF强化学习人类反馈的训练-buffer-loss
    18:08
  • 视频：
    8-18 RLHF强化学习人类反馈的训练-trainer
    22:03
  • 视频：
    8-19 RLHF强化学习人类反馈的训练-main
    19:30

本章介绍：

本章聚焦于低成本且高效的模型微调技术PEFT，包括BitFit、Prefix-Tuning、Prompt-Tuning、P-Tuning、P-Tuning v2及LoRA等方法。以及代码实践了一个使用AdaLoRA训练ChatGLM2的小项目。本章总结了PEFT技术的关键点，为大规模模型的快速适应提供了新思路。

第9章 低成本微调大模型方法PEFT(LoRA等) — 训练 "ChatGLM2" 项目
16 节｜240分钟
展开
  • 视频：
    9-1 参数高效微调方法 peft-bitfit
    23:14
  • 视频：
    9-2 参数高效微调方法 prefix-t
    11:55
  • 视频：
    9-3 参数高效微调方法 prompt-t
    10:09
  • 视频：
    9-4 参数高效微调方法 p-tuning
    10:38
  • 视频：
    9-5 参数高效微调方法 p-tuningv2
    09:36
  • 视频：
    9-6 参数高效微调方法 lora
    05:13
  • 视频：
    9-7 高效调参方案实现 prompt_tuning-1
    18:25
  • 视频：
    9-8 高效调参方案实现 prompt_tuning-2
    10:12
  • 视频：
    9-9 高效调参方案实现 p-tuning
    13:41
  • 视频：
    9-10 高效调参方案实现 prefix-tuning
    19:42
  • 视频：
    9-11 高效调参方案实现 lora-01
    17:51
  • 视频：
    9-12 高效调参方案实现 lora-02
    17:40
  • 视频：
    9-13 高效调参方案实现 lora-03
    11:00
  • 视频：
    9-14 AdaLora微调ChatGLM2 实战 -1
    21:21
  • 视频：
    9-15 AdaLora微调ChatGLM2 实战 -2
    23:55
  • 视频：
    9-16 PEFT-本章总结
    15:05

本章介绍：

讲解了langchain的几个接口，并基于faiss+ChatGLM2+langchain实现了一个简单的知识库问题。 本章探讨了如何利用langchain框架结合大模型ChatGLM2，构建高效的知识库问答。讲解了langchain的几个接口，并基于faiss+ChatGLM2+langchain实现了一个简单的知识库问题。本章总结了langchain与知识增强LLM的结合优势，为构建智能问答系统提供了实用指南。

第10章 langchain+训练大模型ChatGLM2 构建“知识库问答”
5 节｜75分钟
展开
  • 视频：
    10-1 基于langchain的应用
    12:43
  • 视频：
    10-2 langchain初探与实战
    25:31
  • 视频：
    10-3 langchain实现 mini-QA
    14:59
  • 视频：
    10-4 工业场景知识库LLM助手的设计
    13:11
  • 视频：
    10-5 langchain和知识增强LLM总结
    08:30

本章介绍：

回顾了本套课程讲解的核心内容，从chatgpt、LLM，训练、微调方法、智能问答等线管知识等，快速对知识有系统的统筹。

第11章 课程总结
2 节｜33分钟
展开
  • 视频：
    11-1 课程总结（1）
    17:48
  • 视频：
    11-2 课程总结（2）
    15:01
本课程已完结
适合人群
想训练和搭建自己的大模型服务的学员
想从0掌握ChatGPT背后核心技术的学员
技术储备
Linux、Python、数学基础
人工智能基础
Feng哥是真想教会你
资深算法专家， 已有623个学生
12年开始从事算法开发(推荐算法、NLP、大模型)，先后就职于百度、联想、趣头条、微盟等公司，从算法工程师，做到算法部门负责人。兼职过某互联网知名IT培训的NLP讲师。正在书写《prompt工程师底层视角》一书。
不为别的，只为提升面试通过率
尽管课程时间很长，
但没关系，我们有老师的陪伴，
还有同学之间互相鼓励，彼此帮助，
完成学习后，还能获得慕课网官方认证的证书。
立即购买
luckyforever给了 好评
double triple good good study ,day day up
maomaoking给了 好评
good more practice, more better
Zap820855给了 好评
内容设置不错，很合理
奋斗的小鸟22给了 好评
老师讲的很好 很多名词都没见过 一脸懵
HaganWu给了 好评
课件太简单，讲的时候就用个画笔潦草画，听过之后没啥印象
慕后端5334776给了 好评
讲得通俗易懂，不错的课程
从AI到训练模型ChatGPT，快速进军AI
套餐价格：¥669.00
2门课 总价：¥747.00
立即购买
 课程介绍

从0到1训练私有大模型 ，企业急迫需求，抢占市场先机

中级  · 623人报名 ¥299.00
课程介绍 

Python3入门人工智能 掌握机器学习+深度学习

初级  · 1996人报名 ¥448.00
AI大模型应用到训练
套餐价格：¥868.00
3门课 总价：¥966.00
立即购买
 课程介绍

从0到1训练私有大模型 ，企业急迫需求，抢占市场先机

中级  · 623人报名 ¥299.00
课程介绍 

AI人人必修-提示词工程+大模型多场景实战（丰富资料)

初级  · 446人报名 ¥299.00
课程介绍 

AI Agent智能应用从0到1定制开发 全流程解决方案实战

中级  · 1285人报名 ¥368.00
查看更多
数据加载中...
查看更多好课
《从0到1训练私有大模型 ，企业急迫需求，抢占市场先机》的真实评价
内容实用：
9.00分
通俗易懂：
9.00分
逻辑清晰：
9.00分
综合评分：9.00分，共 6 人参与
luckyforever
给了 好评
double triple good good study ,day day up
maomaoking
给了 好评
good more practice, more better
Zap820855
给了 好评
内容设置不错，很合理
奋斗的小鸟22
给了 好评
老师讲的很好 很多名词都没见过 一脸懵
HaganWu
给了 好评
课件太简单，讲的时候就用个画笔潦草画，听过之后没啥印象
慕后端5334776
给了 好评
讲得通俗易懂，不错的课程
篇幅原因，只展示最近100条评价
￥299.00
立即购买
加购物车

学习咨询

选课、学习遇到问题？

扫码添加指导老师 1V1 帮助你！

添加后老师会第一时间解决你的问题

微信客服

购课补贴
联系客服咨询优惠详情

 帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

 公众号

扫描二维码
关注慕课网微信公众号