作为人工智能领域的前沿技术之一，大语言模型（LLM）的出现正逐步改变人类对语言、沟通乃至认知的理解。这些模型通过不断迭代与升级，不仅在自然语言处理领域取得了革命性突破，更是将人工智能的应用推向了一个崭新的高度。从简单的问答到复杂的文字生成，从初级的情感理解到撰写具有丰富感情色彩的文章，LLM有着令人着迷的魔力，并驱使着人们不断探索与实践，发现更多令人兴奋的秘密。
本书覆盖了大模型基本结构概述、提示词工程、大模型的微调、强化学习与人类反馈等基础理论知识，也包含采用大模型制作检索引擎、推荐系统、文图检索等人门应用实践，还介绍了大模型应用于商业生产时，开源与闭源的策略选择等，能够帮助广大读者对大模型的相关知识有一个快速的认知，进而帮助读者快速融入人工智能时代。

斯楠·奥兹德米尔（Sinan Ozdemir），是一名数据科学家、创业者和教育工作者。Sinan的学术生涯在约翰·霍普金斯大学（The Johns Hopkins University）渡过，主修数学专业。随后他从事教育事业，曾经在约翰·霍普金斯大学和General Assembly公司举办多次数据科学讲座。在此之后，他创立了旨在通过人工智能技术和数据科学力量帮助企业销售团队的创业公司Legion Analytics。

第1部分 大模型介绍
第1章 大模型概述
1.1 什么是大模型
1.1.1 大模型的定义
1.1.2 大模型的关键特征
1.1.3 大模型是如何工作的
1.2 当前流行的大模型
1.2.1 BERT
1.2.2 GPT-3和ChatGPT
1.2.3 T5
1.3 垂直领域大模型
1.4 大模型的应用
1.4.1 经典的NLP任务
1.4.2 自由文本生成
1.4.3 信息检索/神经语意搜索
1.4.4 聊天机器人
1.5 本章小结
第2章 大模型语义检索
2.1 简介
2.2 语义检索的任务
2.3 非对称语义检索方案概述
2.4 组件
2.4.1 文本嵌入器
2.4.2 文档分块
2.4.3 向量数据库
2.4.4 Pinecone
2.4.5 开源替代方案
2.4.6 检索结果重排
2.4.7 API
2.5 完整方案
2.6 闭源组件的成本
2.7 本章小结
第3章 提示词工程入门
3.1 简介
3.2 提示词工程
3.2.1 LLM的对齐
3.2.2 LLM提问
3.2.3 小样本学习
3.2.4 结构化输出
3.2.5 人物角色提示词
3.3 跨模型提示词工程
3.3.1 ChatGPT
3.3.2 Cohere
3.3.3 开源提示词工程
3.4 采用ChatGPT构建问答机器人
3.5 本章小结
第2部分 充分挖掘大模型的潜力
第4章 通过定制化微调优化大模型
4.1 简介
4.2 迁移学习与微调入门
4.2.1 微调过程的解释
4.2.2 闭源预训练模型作为基础模型
4.3 OpenAI微调API概览
4.3.1 GPT-3微调API
4.3.2 案例学习：亚马逊评论情感分类
4.3.3 数据指南和最佳实践
4.4 使用OpenAI CLI实现自定义数据微调
4.5 设置OpenAI CLI
4.6 LLM微调实践
4.6.1 采用量化指标评测大模型
4.6.2 定性评估技术
4.6.3 将微调的GPT-3模型集成到应用程序中
4.6.4 案例学习：亚马逊评论分类
4.7 本章小结
第5章 高级提示工程
5.1 提示注入攻击
5.2 输入/输出验证
5.3 批处理提示
5.4 提示链
5.4.1 提示链作为防御提示注入的手段
5.4.2 使用提示链来防止提示填充
5.4.3 使用提示链来安全地使用多模态LLM
5.5 思维链提示
5.6 重新审视小样本学习
5.7 测试和迭代快速开发
5.8 本章小结
第6章 定制嵌入层和模型架构
6.1 案例研究：构建一个推荐系统
6.1.1 定义问题和数据
6.1.2 推荐系统的定义
6.1.3 基于万条用户行为数据构建推荐系统
6.1.4 生成自定义字段来对比项目的相似性
6.1.5 采用基础词向量构建基线
6.1.6 准备微调数据
6.1.7 使用Sentence Transformers微调开源嵌入器
6.1.8 微调效果总结
6.2 本章小结
第3部分 大模型的高级使用
第7章 超越基础模型
7.1 案例研究：视觉问答
7.1.1 模型简介：DistilBERT、视觉转换器和GPT
7.1.2 隐藏状态投影和融合
7.1.3 交叉注意力是什么以及为什么至关重要
7.1.4 定制多模式联运模型
7.1.5 数据：视觉问答
7.1.6 VQA训练迭代
7.1.7 结果总结
7.2 案例研究：从反馈中强化学习
7.2.1 FLAN-T5模型
7.2.2 奖励模型：情感和语法正确性
7.2.3 Transformer强化学习
7.2.4 RLF训练循环
7.2.5 结果总结
7.3 本章小结
第8章 开源大模型的高级微调方法
8.1 案例研究：采用BERT对动漫进行多标签分类
8.1.1 采用Jaccard相似分来评估动漫标题多标签分类的效果
8.1.2 简单的微调大模型训练流程
8.1.3 通用的开源大模型微调技巧
8.1.4 结果总结
8.2 采用GPT-2生成LaTeX
8.2.1 开源大模型的提示词工程
8.2.2 结果总结
8.3 Sinan尝试做出聪明而优美的回应：SAWYER
8.3.1 有监督指令微调
8.3.2 奖励模型的训练
8.3.3 从（期望的）人类反馈中进行强化学习
8.3.4 结果总结
8.4 日新月异的微调世界
8.5 本章小结
第9章 将LLM应用于生产
9.1 闭源：LLM应用于生产
9.2 开源LLM应用于生产
9.2.1 将LLM应用于推理
9.2.2 互操作性
9.2.3 模型量化
9.2.4 模型剪枝
9.2.5 知识蒸馏
9.2.6 大模型的成本预估
9.2.7 模型推送到Hugging Face仓库
9.3 本章小结
9.3.1 欢迎向社区贡献代码
9.3.2 继续加油
第4部分 附录
附录A LLM常见问题解答
附录B LLM术语表
附录C LLM应用架构