大模型&AIGC - 文本方向
AIGC & Large Language Model
授课老师：
开课时间：
上课时间：
总长：
学费：
Cassia Goth（郭老师）， Henry Wilson
2023年10月22日
每周天 早上9:00-12:00
四个月
高级研讨班：RMB 5800
综合实战班：RMB 8800
Offer直达班：RMB 13800
* 高级研讨班包括：本方向所有内容。
* 综合实战班包括：本方向所有内容，一个辅修方向（从其他两个方向中选择，与主修同学享有同等待遇，录播长期有效），硬件support（ 亚马逊美国服务器的32核CPU服务器集群 + GPU费用课程组cover 60%）
* Offer直达班包括：综合实战班所有权益，外加2个月算法机试强化训练，2次简历修改，2次模拟面试。参加4次由字节，阿里巴巴，百度，华为，微软，Google，Meta，Amazon等技术面试官在线分享招聘进展，用人需求与人才技能模型
总体介绍：
文本方向重点培养学习者大语言模型（Large Language Model）的知识和技能。学习者将了解大预训练模型（LLM）的原理，包括模型的训练过程、预训练任务和自监督学习方法等。该方向涵盖了表征学习(representation learning)、文本嵌入(embedding), 文本生成等相关知识。
同时，学习者还将学习多模态模型的原理，如何将不同模态的数据（例如文本、图像、音频等）结合起来进行建模和学习。在该方向中，学习者还将学习如何进行模型微调（fine-tuning），即基于预训练模型的基础上，在特定任务上进一步训练和优化模型。这包括调整模型的超参数、选择适当的损失函数以及处理特定任务的数据集等方面。
此外，学习者将学习基于人类反馈的强化学习(RLHF)的原理和实践。这种方法通过与人类交互，根据人类的反馈来改善模型的性能和生成结果。学习者将了解如何设计合适的奖励机制和策略，以及如何使用强化学习算法来优化模型。
最后，学习者还将学习多轮智能辅助对话系统（Assistant）的实现原理。这种对话系统可以理解和生成自然语言，并且能够进行连续的多轮对话。学习者将了解对话系统的架构、对话管理、上下文理解和生成等关键技术。他们将学会设计和实现能够提供有价值、流畅和准确对话的智能助手。
课程大纲：
第一周：大语言模型在自然语言处理中的应用
Self-attention, multi-head, Transformer的原理详解; GPT-2/3/3.5/4的演化和比较;BERT, RoBERTa, T5, XLnet等模型的对比
第二周： 大语言模型的Fine-Tuning，Prompt Engineering
Fine-Tuning,迁移学习,Pre-Train预训练与Fine-Tuning工作流；Instruction Learning,Few-Short Leanring 与 Meta-Leanring，few-short leanring在LLM中应用;使用Prompt来完成自定义任务，Prompt的设计与优化方法;Prompt-Tuning技术， Prompt-Tuning与传统Fine-Tunning技术的区别
第三周：基于人类反馈的强化学习训练（RLHF）
LoRa: Learning from Rules and Arguments. 基于规则定义的语言能力增强人机交互AI系统的工作流与框架（workflow与framework）;PPO算法在ChatGPT中的应用分析如何设计Reward ModelPPO算法在ChatGPT中的算法实践 ; Off-Policy训练与Importance Sampling; Imitation与Reverse Reinforcement Learning在RLHF中的应用
第四周：大语言模型的部署实践
模型压缩与剪枝技术、知识蒸馏;ONNX + TensorRT; 模型部署的量化技术; GPTQ量化: Post-Trainng Quantization for Generative Pre-trained Transformers
第五周：多模态的原理与机遇开源项目的实践
Visual-ChatGPT的原理; 如何准备自己的数据集; Finetune ChatGLM
第六周：开源版ChatGPT的待完成任务解析
ChatGLM-Tuning的原理与项目架构解析；目前待完成的任务介绍与完成过程分析；成为该项目贡献者的步骤指引
第一个大项目： 成为ChatGLM-Tuning的源代码贡献者
ChatGLM-Tuning是开源版的ChatGPT的平价替代产品.本课程的授课主讲老师为该项目的核心维护者. 本项目学习者将参与ChatGLM-Tuning该Github多模态大模型项目，将成为该项目的代码共享者，解决目前存在的已有问题.
第七周：基于自主知识库的QA助手的实现原理
大语言模型Large Language Model在自主知识库的应用中的挑战与问题；Lora技术在自主QA助手中的应用；复杂QA问题的训练方式；数据的处理准备与发布
第八周：Flash Attention, 感知视野扩大
Flash Attention的核心原理：深入研究Flash Attention的工作原理，包括注意力的计算方式和关键词汇的处理探讨如何调整和优化LLM模型以适应Flash Attention技术 ；感知视野扩大在实际任务中的应用：学习如何应用多模态模型解决文本、视觉和听觉结合的任务。
第九周：Parameter-Efficient Fine-Tuning (PEFT)，并行训练方法
深入了解PEFT技术的工作原理，如何通过减少参数来提高训练效率；学习如何应用PEFT技术，以及如何调整参数以改进模型的训练速度和性能；训练一个QA模型并尝试使用PEFT来优化模型的性能；如何使用数据并行和GPU并行来加速训练
第十周：Prompt model技术
Prompt model架构：深入了解Prompt model的基本架构，包括输入编码和生成答案的过程自动Prompt生成：了解如何使用自动方法生成有效的Prompt
项目二：学习如何构建智能问答系统并使用Prompt model来提供准确的答案
本项目我们将实践如何基于企业自由的数据库、知识库、wiki来构建一个问答助手。该项目将将于GPT-large， LLAMA等模型，使用fine-tuning，并行训练，Prompt Model，PEFT, 模型压缩和剪枝等技术提升模型准确度.
第十一周： 数字人的基本概念和技术
GPT模型的使用;数字人的声音与交互; TTS技术简介：文本转语音技术的原理和应用; 如何让数字人"说话"：接入TTS技术与用户进行声音交互; 创建一个数字人伙伴，使其能够回答问题并生成语音回应
第十二周：数字人的记忆和数据库
向量数据库简介：存储和检索信息的关键工具;如何存储和管理用户输入的信息：建立数字人的记忆;设计和实现一个向量数据库，用于数字人的记忆功能
第十三课：数字人的情感与表情
情感分析简介：理解文本中的情感和情绪;基于GPT的情感分析：生成数字人的情感表达’增加数字人伙伴的情感表情，使其看起来更真实和有情感
第十四课：强化学习与数字人的自主性
强化学习算法和原理及其在数字人中的应用；数字人的自主性：如何让数字人伙伴自主决策； 实际应用：使用强化学习算法来训练数字人伙伴，使其更智能和自主地回应用户需求
第十五课：多模态AI与数字人的感知
如何整合多种感知方式，如视觉、听觉和文本;数字人的感知能力：如何使数字人可以理解和回应多种感知输入
项目三：数字人实践
实际案例：实现一个数字人伙伴，可以处理来自多种感知模式的输入，并做出相应的反应总结：以上5周数字人部分涵盖了从基础的文本生成到声音交互、记忆、情感表达、强化学习以及多模态AI的复杂主题。这将使他们能够构建高度智能和多功能的数字人伙伴。