AI大模型算法-从大模型原理剖析到训练(微调)落地实战

**第1章 课程导学与环境介绍**

- 1-1 课程介绍与安排【不要错过】.mp4 151.49 MB 30:09

- 1-2 为什么在AI时代要学习大模型及其相关的理论知识.mp4 86.32 MB 29:17

- 1-3 中国开发者学习DeepSeek的意义.mp4 60.44 MB 16:49

- 1-4 大模型常用学习资源与模型下载.mp4 53.13 MB 18:58

- 1-5 Anaconda 介绍及安装.mp4 92.55 MB 25:08

- 1-6 pycharm安装级连接远程服务器.mp4 55.48 MB 17:06

- 1-7 按图索骥 AI技术全景介绍.mp4 163.57 MB 32:07

**第2章 【小试牛刀】DeepSeek认知与体验**

- 2-1 ChatGPT的诞生和DeepSeek的追赶.mp4 78.09 MB 22:43

- 2-2 DeepSeek能力体验与大模型的影响.mp4 93.91 MB 22:12

- 2-3 小试牛刀1-基于DeepSeek结合提示工程搭建功能强大的翻译机.mp4 89.81 MB 25:40

- 2-4 小试牛刀2-几行代码实现DeepSeek蒸馏模型私有化部署实战.mp4 115.37 MB 21:14

**第3章 【大模型理论】DeepSeek的诞生之路**

- 3-1 自然语言处理解决的是什么问题.mp4 15.75 MB 10:01

- 3-2 规则和统计学的方法.mp4 20.09 MB 12:47

- 3-3 为什么要使用词向量以及向量表示的作用.mp4 96.98 MB 14:57

- 3-4 如何获得一份表示良好的词向量？.mp4 48.98 MB 28:03

- 3-5 词向量的价值.mp4 6.96 MB 03:11

- 3-6 小试牛刀 词向量实战.mp4 91.76 MB 23:01

- 3-7 预训练模型.mp4 45.72 MB 25:08

- 3-8 小试牛刀 预训练模型实战.mp4 148.70 MB 57:05

- 3-9 大语言模型的诞生.mp4 49.32 MB 19:33

- 3-10 DeepSeek的诞生.mp4 58.09 MB 27:46

- 3-11 大模型产生智能的原因.mp4 60.46 MB 12:06

**第4章 【特征编码器Transformer】深入理解大模型的输入输出**

- 4-1 大模型的文本切分与Token.mp4 20.35 MB 09:51

- 4-2 大模型的Tokenizer.mp4 47.36 MB 23:23

- 4-3 深入理解Tokenizer的作用及影响.mp4 29.73 MB 15:26

- 4-4 【小试牛刀】Tokenizer实战.mp4 25.82 MB 09:49

- 4-5 深入理解BPE算法训练和编码过程.mp4 30.04 MB 15:48

- 4-6 【实战】手撸BPE算法训练代码.mp4 100.25 MB 30:27

- 4-7 初步了解大模型中的位置编码.mp4 40.19 MB 25:52

- 4-8 大模型的输出流程介绍.mp4 13.23 MB 08:07

- 4-9 大模型解码原理详细介绍.mp4 34.69 MB 17:23

- 4-10 【实战】寻找大模型最佳推理参数实战（一）.mp4 64.94 MB 13:27

- 4-11 【实战】寻找大模型最佳推理参数实战（二）.mp4 76.01 MB 11:55

**第5章 【特征编码器Transformer】深入Transfomer中的注意力机制**

- 5-1 Transformer基础知识准备.mp4 70.26 MB 36:26

- 5-2 【实战】手撸LayerNorm 代码.mp4 115.97 MB 27:42

- 5-3 【实战】手撸softmax代码.mp4 90.37 MB 26:48

- 5-4 深入理解注意力机制.mp4 97.52 MB 58:47

- 5-5 掩码自注意力机制.mp4 23.97 MB 13:53

- 5-6 多头注意力机制.mp4 16.49 MB 08:55

- 5-7 【实战】手撸attention机制代码.mp4 107.40 MB 51:56

- 5-8 【实战】手撸masked_self_attention.mp4 63.11 MB 13:59

- 5-9 【实战】手撸MaskedMultiHeadAttention代码（1）.mp4 57.26 MB 15:37

- 5-10 【实战】手撸MaskedMultiHeadAttention代码（2）.mp4 54.23 MB 15:27

- 5-11 残差连接和FFN.mp4 23.80 MB 15:21

- 5-12 【实战】手搓FFN和残差结构实现代码.mp4 67.35 MB 19:11

- 5-13 【实战】手撸Transformer Decoder Block实现.mp4 90.40 MB 35:03

- 5-14 【实战】手撸Transformer整体代码（一）.mp4 71.88 MB 18:07

- 5-15 【实战】手撸Transformer整体代码（二）.mp4 124.03 MB 32:31

- 5-16 attention机制的进化：GQA和MQA.mp4 47.75 MB 25:45

- 5-17 【实战】手撸MQA注意力机制代码.mp4 92.08 MB 26:04

- 5-18 【实战】手撸GQA注意力机制代码（一）.mp4 76.64 MB 32:09

- 5-19 【实战】手撸GQA注意力机制代码（二）.mp4 86.49 MB 24:46

**第6章 【特征编码器Transformer】深入Transfomer中的位置编码**

- 6-1 相对位置编码介绍.mp4 29.78 MB 15:52

- 6-2 旋转位置编码理论.mp4 53.75 MB 19:36

- 6-3 手撸旋转位置编码ROPE（1）.mp4 37.70 MB 11:13

- 6-4 手撸旋转位置编码ROPE（2）.mp4 48.32 MB 09:20

- 6-5 手撸旋转位置编码ROPE（3）.mp4 58.03 MB 12:10

- 6-6 旋转位置编码的核心参数及其影响.mp4 46.93 MB 31:09

- 6-7 旋转位置编码的变种.mp4 28.07 MB 13:56

**第7章 【预训练】大语言模型的预训练**

- 7-1 大语言模型经典训练框架介绍.mp4 23.03 MB 10:05

- 7-2 大模型预训练(目标与任务).mp4 16.48 MB 09:22

- 7-3 大模型预训练(MTPL多Token预测).mp4 27.19 MB 10:05

- 7-4 大模型预训练(预训练数据和处理).mp4 39.05 MB 16:57

- 7-5 大模型预训练(预训练过程).mp4 20.50 MB 08:36

- 7-6 大模型的评估体系.mp4 28.05 MB 15:06

- 7-7 大模型代码能力的评估.mp4 29.45 MB 08:16

- 7-8 大模型数学能力的评估.mp4 27.87 MB 09:16

- 7-9 大模型阅读理解能力的评估.mp4 26.44 MB 09:17

- 7-10 大模型综合评测榜单介绍.mp4 66.68 MB 13:08

- 7-11 【实战】DeepSeek代码能力评估实战之（第一步：模型推理）.mp4 114.58 MB 21:10

- 7-12 【实战】DeepSeek代码能力评估实战之（第二步：模型结果处理）.mp4 159.36 MB 18:47

- 7-13 【实战】DeepSeek代码能力评估之（第三步：代码执行检查）.mp4 86.69 MB 10:10

**第8章 【预训练】 预训练的数据工程**

- 8-1 大模型预训练的数据搜集过程（数据集1）.mp4 25.32 MB 12:58

- 8-2 大模型预训练的数据搜集过程（数据集2）.mp4 45.59 MB 14:01

- 8-3 大模型预训练的数据搜集过程（预训练数据构造流程）.mp4 6.28 MB 04:30

- 8-4 大模型预训练的数据处理过程（数据处理流程）.mp4 14.85 MB 06:41

- 8-5 大模型预训练的数据处理过程（数据过滤+去重+审核）.mp4 66.51 MB 18:28

- 8-6 大语言模型预训练的多领域数据配比与学习顺序.mp4 36.85 MB 13:27

- 8-7 大模型安全问题.mp4 23.02 MB 09:10

- 8-8 大模型安全挑战：新型攻击与防御.mp4 13.42 MB 06:15

- 8-9 LLM预训练领域数据配比DoReMI深度解读.mp4 82.45 MB 29:14

**第9章 【预训练】 预训练的硬件体系讲解**

- 9-1 大模型的分布式训练集群介绍.mp4 14.89 MB 08:42

- 9-2 大模型的分布式训练集群（参数服务器架构和去中心化架构）.mp4 37.88 MB 15:42

- 9-3 大模型的算力基础-显卡结构深度剖析.mp4 51.12 MB 21:35

- 9-4 大模型的算力基础-英伟达硬件架构体系（Fermi架构）.mp4 33.52 MB 07:18

- 9-5 大模型的算力基础-英伟达硬件架构体系（Ampere架构）.mp4 128.01 MB 51:14

- 9-6 大模型训练通信提效之Nvlink.mp4 45.09 MB 12:39

- 9-7 大模型训练通信提效之拓扑结构.mp4 54.20 MB 12:13

- 9-8 大模型分布式训练通信协议NCCL、GRPC、HTTP.mp4 32.67 MB 11:07

**第10章 【预训练】 预训练的训练过程**

- 10-1 大模型分布式训练概要-预训练任务与损失函数.mp4 86.89 MB 41:38

- 10-2 实战_手撸交叉熵损失函数代码.mp4 71.17 MB 20:32

- 10-3 大模型分布式训练之数据并行.mp4 32.20 MB 15:04

- 10-4 大模型分布式训练之模型并行概述.mp4 16.46 MB 07:07

- 10-5 大模型分布式训练模型并行之Embedding层并行.mp4 20.53 MB 09:43

- 10-6 Embedding并行 代码解读.mp4 48.76 MB 09:26

- 10-7 模型并行之深入理解矩阵乘法并行原理.mp4 25.82 MB 11:42

- 10-8 模型并行之深入理解矩阵乘法并行代码解析.mp4 81.64 MB 10:51

- 10-9 模型并行之深入理解交叉熵损失的并行原理.mp4 30.88 MB 12:56

- 10-10 模型并行之深入理解交叉熵损失并行的代码.mp4 77.59 MB 10:41

- 10-11 模型并行之深入理解流水线并行.mp4 18.40 MB 10:01

- 10-12 分布式训练之异构系统并行.mp4 15.48 MB 09:22

- 10-13 大模型训练显存占用分析.mp4 26.48 MB 14:54

- 10-14 分布式训练软件框架deepspeed.mp4 70.99 MB 34:51

- 10-15 deepspeed zero dp stage1.mp4 28.08 MB 14:27

- 10-16 deepspeed zero dp stage2.mp4 16.26 MB 07:54

- 10-17 deepspeed zero dp stage3.mp4 16.00 MB 07:47

- 10-18 deepspeed zero offload.mp4 14.33 MB 05:35

**第11章 【后训练】有监督微调**

- 11-1 大语言模型的预训练和后训练.mp4 24.57 MB 11:54

- 11-2 大语言模型的指令微调技术.mp4 40.90 MB 14:22

- 11-3 大模型微调的评估方法.mp4 36.97 MB 19:12

- 11-4 大语言模型微调的数据构造.mp4 33.54 MB 12:24

- 11-5 大语言模型中的思维链数据.mp4 17.37 MB 08:40

- 11-6 大语言模型微调框架llamafactory.mp4 33.26 MB 12:46

- 11-7 llama_factory全参数微调实战.mp4 109.87 MB 19:26

**第12章 【后训练】参数高效督微调**

- 12-1 参数高效微调概述.mp4 17.29 MB 09:36

- 12-2 深入理解lora参数高效微调的原理.mp4 59.16 MB 35:40

- 12-3 深入理解prefix tuning和 prompt tuning.mp4 58.23 MB 24:57

- 12-4 深入理解Adapter Tuning.mp4 34.68 MB 17:23

- 12-5 lora参数高效微调实.mp4 48.83 MB 09:43

**第13章 【后训练】强化学习基础**

- 13-1 人类反馈式强化学习概述.mp4 24.20 MB 12:11

- 13-2 强化学习（基本概念+策略）.mp4 39.67 MB 18:34

- 13-3 强化学习的基本概念（值函数）.mp4 27.22 MB 13:48

- 13-4 贝尔曼方程介绍.mp4 27.70 MB 13:41

- 13-5 随机策略梯度算法.mp4 52.75 MB 21:42

- 13-6 【实战】强化学习实战之环境建模.mp4 62.34 MB 29:01

- 13-7 【实战】强化学习实战之策略评估.mp4 37.88 MB 20:16

- 13-8 【实战】强化学习实战之策略优化.mp4 55.09 MB 33:06

**第14章 【后训练】人类反馈式强化学习**

- 14-1 奖励模型介绍.mp4 37.51 MB 20:56

- 14-2 PPO算法详解(1).mp4 32.55 MB 16:55

- 14-3 PPO算法详解(2).mp4 99.27 MB 49:23

- 14-4 PPO算法训练过程详解.mp4 51.29 MB 28:26

- 14-5 手撸奖励模型代码(1).mp4 50.00 MB 22:34

- 14-6 手撸奖励模型代码(2).mp4 81.59 MB 23:05

- 14-7 PPO算法代码深入理解.mp4 132.28 MB 29:15

**第15章 【DeepSeek核心技术解密】国产AI的崛起 DeepSeek核心技术突破**

- 15-1 DeepSeek模型创新点介绍.mp4 58.20 MB 13:47

- 15-2 kv cache.mp4 47.52 MB 15:25

- 15-3 深入理解MLA机制和原理.mp4 73.16 MB 35:28

- 15-4 手撸MLA实现代码（1）.mp4 68.13 MB 21:06

- 15-5 手撸MLA实现代码（2）.mp4 61.54 MB 14:14

- 15-6 深入立即MOE机制和原理.mp4 54.24 MB 16:20

- 15-7 手撸MOE实现代码.mp4 102.19 MB 36:20

**第16章 【DeepSeek核心技术解密】DeepSeek V3与DeepSeek R1**

- 16-1 深入理解大模型逻辑推理能力.mp4 58.43 MB 24:15

- 16-2 深入理解思维链技术.mp4 94.11 MB 29:22

- 16-3 深入理解GRPO算法.mp4 102.76 MB 59:19

- 16-4 GRPO实战项目任务介绍 (2).mp4 16.68 MB 09:10

- 16-5 辅助函数实现.mp4 67.45 MB 40:21

- 16-6 奖励函数的设计与实现.mp4 32.25 MB 14:33

- 16-7 数据加载与处理.mp4 74.82 MB 28:45

- 16-8 手撸GRPO训练代码.mp4 93.24 MB 33:20

**第17章 【企业落地实战】赋能千行百业：大模型落地应用透析**

- 17-1 大模型落地应用能力详解.mp4 47.52 MB 22:11

- 17-2 大模型落地应用核心方法论介绍.mp4 63.97 MB 22:37

- 17-3 大模型落地应用典型场景与案例介绍.mp4 58.30 MB 17:25

- 17-4 大模型落地应用的挑战.mp4 72.99 MB 32:35

**第18章 【企业落地实战】大模型落地应用核心方法论**

- 18-1 深入理解提示工程和方法论.mp4 65.47 MB 25:12

- 18-2 深入理解RAG系统.mp4 65.05 MB 20:30

- 18-3 理解模型量化的过程.mp4 24.27 MB 10:46

- 18-4 大模型推理加速与vLLM.mp4 162.27 MB 35:46

- 18-5 大模型agent基本原理.mp4 38.49 MB 14:39

- 18-6 模型常规推理实战.mp4 98.44 MB 30:19

- 18-7 vllm推理加速实战（1）.mp4 65.06 MB 17:14

- 18-8 vllm推理加速实战（2）.mp4 130.85 MB 22:18

**第19章 【企业落地实战】Agent智能政务助手：具备十万字长文档理解**

- 19-1 项目目标与需求.mp4 74.51 MB 31:49

- 19-2 源数据搜集.mp4 69.31 MB 20:10

- 19-3 文本向量化.mp4 61.54 MB 16:22

- 19-4 文本向量化实战1.mp4 61.72 MB 20:10

- 19-5 文本向量化实战2.mp4 82.90 MB 23:52

- 19-6 数据库ES介绍及其安装.mp4 127.87 MB 25:14

- 19-7 ES mappin构造与索引创建.mp4 57.50 MB 20:56

- 19-8 ES数据写入.mp4 48.46 MB 11:39

- 19-9 ES数据删除.mp4 33.51 MB 09:55

- 19-10 写入项目数据，embedding和文本数据.mp4 93.40 MB 18:04

- 19-11 深入介绍ES检索DSL（1）.mp4 94.23 MB 20:53

- 19-12 深入介绍ES检索DSL（2）.mp4 86.13 MB 14:44

- 19-13 手写naive RAG（1）.mp4 56.45 MB 15:37

- 19-14 手写naive RAG（2）.mp4 65.29 MB 11:12

- 19-15 手写naive RAG（3）.mp4 76.67 MB 19:38

- 19-16 手写naive RAG（4）.mp4 92.56 MB 16:27

- 19-17 gradio聊天对话框介绍.mp4 15.91 MB 04:09

- 19-18 gradio hello.mp4 52.26 MB 13:04

- 19-19 gradio 大模型对话窗口搭建.mp4 108.23 MB 32:07

- 19-20 rag流式输出链路搭建.mp4 109.28 MB 20:49

- 19-21 训练数据高效合成（1）.mp4 109.28 MB 20:49

- 19-22 训练数据高效合成（2）.mp4 50.43 MB 14:46

- 19-23 训练数据高效合成（3）.mp4 77.76 MB 42:14

- 19-24 训练数据高效合成（4）.mp4 50.55 MB 10:21

- 19-25 合成政务类训练数据.mp4 138.14 MB 26:28

- 19-26 生成政务流程类训练数据及其优化.mp4 324.96 MB 43:03

- 19-27 集中处理训练数据.mp4 126.43 MB 21:38

- 19-28 模型微调 构造训练集测试集.mp4 78.87 MB 26:39

- 19-29 模型微调 开始训练.mp4 37.48 MB 07:21

- 19-30 模型微调 构造训练集测试集.mp4 75.12 MB 26:55

- 19-31 模型微调 开始训练.mp4 43.96 MB 12:42

- 19-32 模型训练效果测试（1）.mp4 80.93 MB 10:30

- 19-33 模型训练结果评测（2）.mp4 99.52 MB 08:54

**第20章 【企业落地实战】生成公文写作系统：具备层次化多级目录万字长公文写作能力**

- 20-1 公文生成项目需求分析.mp4 73.24 MB 21:07

- 20-2 项目需求拆解与提示词构造.mp4 83.96 MB 22:49

- 20-3 公文数据搜集（1）.mp4 46.31 MB 10:45

- 20-4 公文数据搜集（2）.mp4 53.63 MB 14:07

- 20-5 训练数据构造.mp4 100.27 MB 11:51

- 20-6 开始训练公文大模型1.mp4 60.96 MB 11:14

- 20-7 模型评测集构建与模型评估实战.mp4 108.43 MB 14:54

- 20-8 模型训练效果分析实战.mp4 187.50 MB 19:09

- 20-9 模型问题解决、优化分析及针对性的数据构造.mp4 211.44 MB 34:13

- 20-10 新的训练数据合成及模型训练.mp4 74.49 MB 14:06

- 20-11 最终模型效果评估.mp4 154.47 MB 17:05

- 20-12 公文写作大模型总结.mp4 21.93 MB 09:26

**第21章 【展望与前瞻】 多模态与大模型发展趋势**

- 21-1 大模型的发展趋势.mp4 37.73 MB 23:38

- 21-2 多模态大模型理论介绍.mp4 44.24 MB 15:25

- 21-3 课程总结与就业指导.mp4 21.58 MB 17:35

**课件资料**

- 代码 (文件夹)

- 文档 (文件夹)

- 软件安装包网盘地址.txt 65.00 B