这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。
具体地，通过本书你能了解或掌握以下知识：
ChatGPT的工作流程和技术栈；
ChatGPT的工作原理和算法实现；
基于Transformer架构的一系列预训练语言模型的原理；
强化学习的基础知识；
提示学习与大模型涌现出的上下文学习、思维链；
大模型的训练方法及常见的分布式训练框架；
基于人工反馈的强化学习整体框架；
从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程。
本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管你是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

涂铭，阿里巴巴数据架构师，对大数据、自然语言处理、Python、Java相关技术有深入的研究，积累了丰富的实践经验。曾就职于北京明略数据，是大数据方面的高级咨询顾问。
在工业领域参与了设备故障诊断项目，在零售行业参与了精准营销项目。在自然语言处理方面，担任导购机器人项目的架构师，主导开发机器人的语义理解、短文本相似度匹配、上下文理解，以及通过自然语言检索产品库，在项目中构建了NoSQL+文本检索等大数据架构，同时也负责问答对的整理和商品属性的提取，带领NLP团队构建语义解析层。

赞誉
前言
第1章 了解ChatGPT
1.1 ChatGPT的由来
1.1.1 什么是ChatGPT
1.1.2 ChatGPT的发展历史
1.2 ChatGPT的工作流程
1.3 ChatGPT用例
1.3.1 日常任务
1.3.2 编写代码
1.3.3 文本生成
1.3.4 办公自动化
1.4 本章小结
第2章 ChatGPT原理解构
2.1 背景知识
2.1.1 自然语言处理的发展历程
2.1.2 大型语言模型的发展历程
2.2 ChatGPT同类产品
2.2.1 BlenderBot 3.0
2.2.2 LaMDA
2.2.3 Sparrow
2.3 ChatGPT的工作原理
2.3.1 预训练与提示学习阶段
2.3.2 结果评价与奖励建模阶段
2.3.3 强化学习与自我进化阶段
2.4 算法细节
2.4.1 标注数据
2.4.2 建模思路
2.4.3 存在的问题
2.5 关于ChatGPT的思考
2.6 本章小结
第3章 预训练语言模型
3.1 Transformer结构
3.2 基于Encoder结构的模型
3.2.1 BERT
3.2.2 RoBERTa
3.2.3 ERNIE
3.2.4 SpanBERT
3.2.5 MacBERT
3.2.6 ALBERT
3.2.7 NeZha
3.2.8 UniLM
3.2.9 GLM
3.2.10 ELECTRA
3.3 基于Decoder结构的模型
3.3.1 GPT
3.3.2 CPM
3.3.3 PaLM
3.3.4 OPT
3.3.5 Bloom
3.3.6 LLaMA
3.4 基于Encoder-Decoder结构的模型
3.4.1 MASS
3.4.2 BART
3.4.3 T
3.5 基于夸夸闲聊数据的UniLM
模型实战
3.5.1 项目简介
3.5.2 数据预处理模块
3.5.3 UniLM模型模块
3.5.4 模型训练模块
3.5.5 模型推理模块
3.6 本章小结
第4章 强化学习基础
第5章 提示学习与大型语言模型的涌现
第6章 大型语言模型预训练
第7章 GPT系列模型分析
第8章 PPO算法与RLHF理论实战
第9章 类ChatGPT实战
第10章 ChatGPT发展趋势