从0到1训练私有大模型 ,企业急迫需求,抢占市场先机

从核心原理、技术+ PEFT微调大模型+ LangChain构建知识库问答,你也能打造属于自己的大模型ChatGPT

已完结
|
难度:中级
|
时长:共 35 小时
¥299.00
满8700减2600 满5600减1800 满4600减1600 满3800减1200 满2800减900 满1800减500 满1200减300 满500减80

更多

距离活动结束
加购物车
已有 575 人在学
  • 从0到1训练你自己的大模型
  • 揭密核心BERT和GPT等大模型
  • ChatGPT等大模型的训练原理
  • PEFT微调大模型解决场景需求
  • 多NLP任务逻辑解决实际问题
  • LangChain+大模型问答搭建
试看本节课 18:25
试看本节课 09:13
试看本节课 21:22
1-1 【导航】课程导学&让你快速了解课程
1-2 【内容安排】课程安排和学习建议
1-3 【行业发展】ChatGPT对行业、社会有什么影响,我们要如何应对

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
重新观看
结合ChatGPT实现智能助手只是第一步?企业真正急迫需求是构建符合自己业务需求的AI智能助手,核心技能训练和微调私有的大模型?本课深入企业需求,从ChatGPT背后原理、技术、不同大模型知识开始,带你从0到1训练出一个大模型,运用PEFT技巧微调大模型解决场景需求,最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战,超越大多数竞争者,抢占先机,脱颖而出。

本章介绍:

介绍chatGPT的出现会对社会和我们个人带来怎样的改变,以及我们要如何应对、为什么要学习ChatGPT。快速了解课程的安排和内容。

第1章 课程介绍
5 节|62分钟
展开
  • 视频:
    1-1 【导航】课程导学&让你快速了解课程
    试看
    18:25
  • 视频:
    1-2 【内容安排】课程安排和学习建议
    试看
    09:13
  • 视频:
    1-3 【行业发展】ChatGPT对行业、社会有什么影响,我们要如何应对
    试看
    21:22
  • 视频:
    1-4 【发展史】ChatGPT的简要历史
    09:53
  • 视频:
    1-5 【学习须知】本课程为什么使用gpt2而不是gpt3
    03:03

本章介绍:

第一步搭建搭建开发环境,介绍百度的aistudio以及paddlepaddle。指引对于没有显卡资源的同学如何通过aistudio免费使用v100、和亚马逊的算力资源。

第2章 训练模型与开发平台环境
5 节|30分钟
收起
  • 视频:
    2-1 【认知】为什么要引入paddle?平时使用torch,学习paddle貌似没用怎么办?
    04:06
  • 视频:
    2-2 【框架】paddle和torch与tensorflow对比
    07:14
  • 视频:
    2-3 【NLP工具和预训练模型】paddleNLP和huggingface
    03:23
  • 视频:
    2-4 【平台】介绍aistudio
    07:53
  • 视频:
    2-5 【工具】介绍基于gpt4的IDE cursor
    06:51

本章介绍:

本章了解了解chatGPT初始技术,讲解并代码实践了语言模型最初的词向量技术word2vec。以及LSTM和基于LSTM的动态词向量ELMo。

第3章 chatGPT初始技术词向量原理剖析与实战
12 节|176分钟
收起
  • 视频:
    3-1 【认知】词向量,词向量与gpt的关系
    05:22
  • 视频:
    3-2 【语言模型】语言模型和评估指标PPL
    13:28
  • 视频:
    3-3 【词向量模型】word2vec-cbow和skipgram
    08:15
  • 视频:
    3-4 【softmax加速】是softmax 树型优化
    14:46
  • 视频:
    3-5 【softmax加速】softmax负采样优化
    13:49
  • 视频:
    3-6 【数据准备与预处理】word2vec实战(1)
    24:53
  • 视频:
    3-7 【数据准备与预处理】word2vec实战(2)
    18:49
  • 视频:
    3-8 【模型训练】word2vec实战-模型开发和训练(1)
    15:17
  • 视频:
    3-9 【模型训练】word2vec实战-模型开发和训练(2)
    14:33
  • 视频:
    3-10 【激活函数】常见七种激活函数对比
    15:29
  • 视频:
    3-11 【预训练语言模型】RNN-LSTM-ELMO
    25:49
  • 视频:
    3-12 本章梳理小结
    05:06

本章介绍:

本章从seq2seq结构与注意力机制的基础讲起,通过具体案例展示其应用。随后,详细解析了Transformer的核心组件,包括多头注意力机制、残差链接解决梯度消失问题、LayerNorm提升训练稳定性,以及解码器的运作机制。此外,还探讨了sparse-Transformer稀疏模型与Transformer-XL在解决长序列问题上的创新。最后,本章进行了全面梳理与总结,为理解chatGPT的强大能力提供了坚实的理论基础。

第4章 chatGPT基石模型——基于Transformer架构的语言模型
11 节|117分钟
展开
  • 视频:
    4-1 本章介绍
    01:32
  • 视频:
    4-2 seq2seq结构和注意力
    15:23
  • 视频:
    4-3 seq2seq-attention的一个案例
    07:37
  • 视频:
    4-4 transformer的multi-head attention 多头注意力机制
    23:07
  • 视频:
    4-5 transformer的残差链接-解决梯度消失问题
    07:43
  • 视频:
    4-6 transformer的layernorm-归一化提升训练稳定性
    07:21
  • 视频:
    4-7 transformer的decoder 解码器
    09:11
  • 视频:
    4-8 sparse-transformer 稀疏模型
    08:31
  • 视频:
    4-9 transformer-xl 解决长序列的问题(1)
    14:34
  • 视频:
    4-10 transformer-xl解决长序列的问题(2)
    16:10
  • 视频:
    4-11 本章梳理总结
    04:52

本章介绍:

本章全面探索了Transformer架构的另一重要分支——Bert系列模型。从评估指标、subword算法、常见NLP任务等基础讲起,深入分析了Bert预训练模型及其在情感分析任务中的Paddle实战应用。同时,讲解了Bert论文,并动手实践开发了一个Bert。讲了基于bert的ernie和plato。

第5章 基于Transformer另一分支Bert系列分析与实战
16 节|211分钟
展开
  • 视频:
    5-1 本章介绍
    01:14
  • 视频:
    5-2 metric-评估指标(BLUE-rouge-L-METOER-NIST)
    22:49
  • 视频:
    5-3 常见 subword 算法(BPE-wordpiece)
    07:00
  • 视频:
    5-4 常见的NLP任务
    06:38
  • 视频:
    5-5 bert 预训练模型
    25:29
  • 视频:
    5-6 bert情感分析实战----paddle(1)
    17:22
  • 视频:
    5-7 bert情感分析实战----paddle(2)
    18:48
  • 视频:
    5-8 evaluate和predict方法----paddle
    10:49
  • 视频:
    5-9 bert(transformer encoder)主要源码分析----paddle(1)
    14:12
  • 视频:
    5-10 bert(transformer encoder)主要源码分析----paddle(2)
    12:31
  • 视频:
    5-11 bert(transformer encoder)的完整源码cache部分分析----paddle
    15:21
  • 视频:
    5-12 Ernie文心一言基础模型(1)
    14:35
  • 视频:
    5-13 Ernie文心一言基础模型(2)
    06:27
  • 视频:
    5-14 plato百度对话模型(1)
    14:56
  • 视频:
    5-15 plato 百度对话模型(2)
    14:13
  • 视频:
    5-16 本章总结
    07:51

本章介绍:

讲解了后面ChatGPT训练依赖的强化学习相关知识。从RL基础概念到马尔可夫过程,再到三种主要方法、DQN及其改进算法、Actor-Critic框架、TRPO与PPO等高级算法,全方位展示了强化学习的理论框架与实战应用。通过PyTorch框架的代码实践。最后,本章总结了强化学习的关键点,为掌握chatGPT的先进技术提供了坚实支撑。

第6章 chatGPT的核心技术——强化学习
18 节|275分钟
展开
  • 视频:
    6-1 RL是什么&为什么要学习RL
    14:11
  • 视频:
    6-2 强化学习章介绍
    02:53
  • 视频:
    6-3 RL基础概念
    07:06
  • 视频:
    6-4 RL马尔可夫过程
    17:39
  • 视频:
    6-5 RL三种方法(1)
    16:40
  • 视频:
    6-6 RL三种方法(2)
    06:07
  • 视频:
    6-7 DQN和DQN的2种改进算法(1)
    13:46
  • 视频:
    6-8 DQN和DQN的2种改进算法(2)
    16:21
  • 视频:
    6-9 actor-critic(1)
    24:54
  • 视频:
    6-10 actor-critic(2)
    08:14
  • 视频:
    6-11 TRPO+PPO(1)
    23:23
  • 视频:
    6-12 TRPO+PPO(2)
    18:28
  • 视频:
    6-13 DQN代码实践--torch-1
    20:28
  • 视频:
    6-14 DQN代码实践--torch-2
    19:05
  • 视频:
    6-15 DoubleDQN+DuelingDQ代码--torch
    11:49
  • 视频:
    6-16 REINFORCE代码--torch
    20:18
  • 视频:
    6-17 PPO代码实践--torch
    23:03
  • 视频:
    6-18 强化学习-本章总结
    10:24

本章介绍:

本章追溯了chatGPT技术的前身,从GPT-1的初步探索,到GPT-2的扩展,再到GPT-3的飞跃性发展,展现了自然语言处理领域大模型技术的演进历程。同时,介绍了基于GPT技术开发的多个重要模型,如GPT-Codex、AlphaCode及Instruct-GPT。此外讲解了GPT系列论文,以及代码生成的2篇论文和ChatGPT训练的相关逻辑。

第7章 chatGPT技术演变——从GPT 1 开始的大模型发展与演化
11 节|159分钟
展开
  • 视频:
    7-1 GPT1 模型
    14:46
  • 视频:
    7-2 GPT2 模型
    14:00
  • 视频:
    7-3 GPT3 模型-1
    15:55
  • 视频:
    7-4 GPT3 模型-2
    12:06
  • 视频:
    7-5 gpt-codex 基于GPT技术开发的模型
    12:58
  • 视频:
    7-6 alphaCode基于GPT技术开发的模型-1
    16:13
  • 视频:
    7-7 alphaCode基于GPT技术开发的模型-2
    09:57
  • 视频:
    7-8 instruct-gpt 基于GPT技术开发的模型-1
    13:44
  • 视频:
    7-9 instruct-gpt 基于GPT技术开发的模型-2
    16:43
  • 视频:
    7-10 Antropic LLM大型语言模型
    24:41
  • 视频:
    7-11 GPT-本章总结
    07:21

本章介绍:

本章详细阐述了如何使用RLHF方法训练类ChatGPT模型的全过程。从SFT有监督训练的数据处理、模型训练,到RM奖励模型训练,再到RLHF强化学习人类反馈训练。通过一步步的代码实践,使读者能够深入理解并掌握ChatGPT类模型的训练流程与关键技术。

第8章 RLHF训练类ChatGPT模型代码实战
19 节|311分钟
展开
  • 视频:
    8-1 chatGPT训练实战
    08:52
  • 视频:
    8-2 SFT有监督的训练-数据处理
    22:06
  • 视频:
    8-3 SFT有监督训练-trainer
    18:19
  • 视频:
    8-4 SFT有监督训练-train
    22:08
  • 视频:
    8-5 RM训练-model+dataset(1)
    16:33
  • 视频:
    8-6 RM训练-model+dataset(2)
    14:51
  • 视频:
    8-7 RM训练-trainer
    13:48
  • 视频:
    8-8 RM训练-train-rm
    11:43
  • 视频:
    8-9 RLHF强化学习人类反馈的训练-dataset
    07:50
  • 视频:
    8-10 RLHF强化学习人类反馈的训练-model-base
    12:17
  • 视频:
    8-11 RLHF强化学习人类反馈的训练-model-opt
    08:11
  • 视频:
    8-12 RLHF强化学习人类反馈的训练-generation(1)
    16:53
  • 视频:
    8-13 RLHF强化学习人类反馈的训练-generation(2)
    16:22
  • 视频:
    8-14 RLHF强化学习人类反馈的训练-exp_maker(1)
    15:14
  • 视频:
    8-15 RLHF强化学习人类反馈的训练-exp_maker(2)
    17:18
  • 视频:
    8-16 RLHF强化学习人类反馈的训练-buffer-utils
    28:18
  • 视频:
    8-17 RLHF强化学习人类反馈的训练-buffer-loss
    18:08
  • 视频:
    8-18 RLHF强化学习人类反馈的训练-trainer
    22:03
  • 视频:
    8-19 RLHF强化学习人类反馈的训练-main
    19:30

本章介绍:

本章聚焦于低成本且高效的模型微调技术PEFT,包括BitFit、Prefix-Tuning、Prompt-Tuning、P-Tuning、P-Tuning v2及LoRA等方法。以及代码实践了一个使用AdaLoRA训练ChatGLM2的小项目。本章总结了PEFT技术的关键点,为大规模模型的快速适应提供了新思路。

第9章 低成本微调大模型方法PEFT(LoRA等) — 训练 "ChatGLM2" 项目
16 节|240分钟
展开
  • 视频:
    9-1 参数高效微调方法 peft-bitfit
    23:14
  • 视频:
    9-2 参数高效微调方法 prefix-t
    11:55
  • 视频:
    9-3 参数高效微调方法 prompt-t
    10:09
  • 视频:
    9-4 参数高效微调方法 p-tuning
    10:38
  • 视频:
    9-5 参数高效微调方法 p-tuningv2
    09:36
  • 视频:
    9-6 参数高效微调方法 lora
    05:13
  • 视频:
    9-7 高效调参方案实现 prompt_tuning-1
    18:25
  • 视频:
    9-8 高效调参方案实现 prompt_tuning-2
    10:12
  • 视频:
    9-9 高效调参方案实现 p-tuning
    13:41
  • 视频:
    9-10 高效调参方案实现 prefix-tuning
    19:42
  • 视频:
    9-11 高效调参方案实现 lora-01
    17:51
  • 视频:
    9-12 高效调参方案实现 lora-02
    17:40
  • 视频:
    9-13 高效调参方案实现 lora-03
    11:00
  • 视频:
    9-14 AdaLora微调ChatGLM2 实战 -1
    21:21
  • 视频:
    9-15 AdaLora微调ChatGLM2 实战 -2
    23:55
  • 视频:
    9-16 PEFT-本章总结
    15:05

本章介绍:

讲解了langchain的几个接口,并基于faiss+ChatGLM2+langchain实现了一个简单的知识库问题。 本章探讨了如何利用langchain框架结合大模型ChatGLM2,构建高效的知识库问答。讲解了langchain的几个接口,并基于faiss+ChatGLM2+langchain实现了一个简单的知识库问题。本章总结了langchain与知识增强LLM的结合优势,为构建智能问答系统提供了实用指南。

第10章 langchain+训练大模型ChatGLM2 构建“知识库问答”
5 节|75分钟
展开
  • 视频:
    10-1 基于langchain的应用
    12:43
  • 视频:
    10-2 langchain初探与实战
    25:31
  • 视频:
    10-3 langchain实现 mini-QA
    14:59
  • 视频:
    10-4 工业场景知识库LLM助手的设计
    13:11
  • 视频:
    10-5 langchain和知识增强LLM总结
    08:30

本章介绍:

回顾了本套课程讲解的核心内容,从chatgpt、LLM,训练、微调方法、智能问答等线管知识等,快速对知识有系统的统筹。

第11章 课程总结
2 节|33分钟
展开
  • 视频:
    11-1 课程总结(1)
    17:48
  • 视频:
    11-2 课程总结(2)
    15:01
本课程已完结
适合人群
想训练和搭建自己的大模型服务的学员
想从0掌握ChatGPT背后核心技术的学员
技术储备
Linux、Python、数学基础
人工智能基础
Feng哥是真想教会你
资深算法专家, 已有575个学生
不为别的,只为提升面试通过率
尽管课程时间很长,
但没关系,我们有老师的陪伴,
还有同学之间互相鼓励,彼此帮助,
完成学习后,还能获得慕课网官方认证的证书。
立即购买
数据加载中...
《从0到1训练私有大模型 ,企业急迫需求,抢占市场先机》的真实评价
综合评分:分,共 人参与
篇幅原因,只展示最近100条评价

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

添加后老师会第一时间解决你的问题

意见反馈 帮助中心 APP下载
官方微信