本书是一本对人工智能小白读者非常友好的大语言模型应用指南，有两大特点：一是以通俗易懂的方式解释复杂概念，通过实例和案例讲解大语言模型的工作原理和工作流程、基本使用方法，包括大语言模型常用的三种交互格式、提示工程、工作记忆与长短期记忆，以及外部工具等，使读者能够全面了解和掌握这一先进技术的应用和二次开发；二是紧跟当前大语言模型技术的更新动态，介绍GPTs的创建，以GPT-4V和Gemini为例讲述多模态模型的应用，还包括无梯度优化、自主Agent系统、大语言模型微调、RAG框架微调、大语言模型安全技术等。无论是学术研究者、工程师，还是对大语言模型感兴趣的普通读者，都可以通过本书获得大语言模型的前沿研究成果、技术进展和应用案例，从而更好地应用大语言模型解决实际问题。

第1篇 基础
第1章 从人工智能的起源到大语言模型
1.1 人工智能的起源
1.1.1 机器能思考吗
1.1.2 达特茅斯会议
1.2 什么是机器学习
1.2.1 演绎推理与归纳推理
1.2.2 人工编程与自动编程
1.2.3 机器学习的过程
1.2.4 机器学习的分类
1.3 什么是神经网络
1.3.1 还原论与涌现性
1.3.2 神经网络的发展历史
1.3.3 神经网络基础
1.3.4 神经网络的三要素
1.4 自然语言处理的发展历程
1.4.1 什么是自然语言处理
1.4.2 文本的向量化
1.4.3 神经网络中的自监督学习
1.5 大语言模型
1.5.1 什么是大语言模型
1.5.2 语言模型中的token
1.5.3 自回归模型与文本生成
1.5.4 统一自然语言任务
1.5.5 大语言模型的训练过程
1.5.6 大语言模型的局限性
第2篇 入门
第2章 交互格式
2.1 Completion交互格式
2.2 ChatML交互格式
2.3 Chat Completion交互格式
第3章 提示工程
3.1 什么是提示工程
3.2 提示的构成
3.3 提示的基础技巧
3.3.1 在提示的末尾重复关键指令
3.3.2 使用更清晰的语法
3.3.3 尽量使用示例
3.3.4 明确要求大语言模型回复高质量的响应
3.4 Chat Completion交互格式中的提示
3.5 提示模板与多轮对话
第4章 工作记忆与长短期记忆
4.1 什么是工作记忆
4.2 减轻工作记忆的负担
4.2.1 Chain-of-Thought
4.2.2 Self-Consistency
4.2.3 Least-to-Most
4.2.4 Tree-of-Tought和Graph -of-Tought
4.2.5 Algorithm-of-Tought
4.2.6 Chain-of-Density
4.3 关于大语言模型的思考能力
4.4 长短期记忆
4.4.1 什么是记忆
4.4.2 短期记忆
4.4.3 长期记忆
第5章 外部工具
5.1 为什么需要外部工具
5.2 什么是外部工具
5.3 使用外部工具的基本原理
5.4 基于提示的工具
5.4.1 Self-ask 框架
5.4.2 ReAct 框架
5.4.3 改进ReAct框架
5.5 基于微调的工具
5.5.1 Toolformer
5.5.2 Gorilla
5.5.3 function calling
第6章 ChatGPT接口与扩展功能详解
6.1 OpenAI大语言模型简介
6.2 ChatGPT扩展功能原理
6.2.1 网页实时浏览
6.2.2 执行Python代码
6.2.3 图像生成
6.2.4 本地文件浏览
6.3 Chat Completion接口参数详解
6.3.1 模型响应返回的参数
6.3.2 向模型发起请求的参数
6.4 Assistants API
6.4.1 工具
6.4.2 线程
6.4.3 运行
6.4.4 Assistants API整体执行过程
6.5 GPTs与GPT商店
6.5.1 GPTs功能详解
6.5.2 GPT商店介绍
6.5.3 案例：私人邮件助手
第3篇 进阶
第7章 无梯度优化
7.1 单步优化
7.2 强化学习入门
7.3 多步优化中的预测
7.4 多步优化中的训练
7.5 多步优化中的训练和预测
第8章 自主Agent系统
8.1 自主Agent系统简介
8.2 自主Agent系统的基本组成
8.3 自主Agent系统案例分析（一）
8.3.1 BabyAGI
8.3.2 AutoGPT
8.3.3 BeeBot
8.3.4 Open Interpreter
8.3.5 MemGPT
8.4 自主Agent系统案例分析（二）
8.4.1 CAMEL
8.4.2 ChatEval
8.4.3 Generative Agents
第9章 微调
9.1 三类微调方法
9.2 Transformer解码器详解
9.2.1 Transformer的原始输入
9.2.2 静态编码和位置编码
9.2.3 Transformer层
9.3 高效参数微调
9.3.1 Adapter高效微调
9.3.2 Prompt高效微调
9.3.3 LoRA高效微调
9.3.4 高效微调总结
9.4 微调RAG框架
9.4.1 RAG框架微调概述
9.4.2 数据准备和参数微调
9.4.3 效果评估
第10章 大语言模型的安全技术
10.1 提示注入攻击
10.1.1 攻击策略
10.1.2 防御策略
10.2 越狱攻击与数据投毒
10.2.1 冲突的目标与不匹配的泛化
10.2.2 对抗样本
10.2.3 数据投毒
10.3 幻觉和偏见问题
10.4 为大语言模型添加水印
第4篇 展望
第11章 大语言模型的生态与未来
11.1 多模态大语言模型
11.1.1 什么是多模态
11.1.2 GPT-4V简介
11.1.3 Gemini简介
11.2 大语言模型的生态系统
11.3 大语言模型的第一性原理：尺度定律
11.3.1 什么是尺度定律
11.3.2 尺度定律的性质
11.3.3 尺度定律的未来
11.4 通向通用人工智能：压缩即智能
11.4.1 编码与无损压缩
11.4.2 自回归与无损压缩
11.4.3 无损压缩的极限
11.5 图灵机与大语言模型：可计算性与时间复杂度
11.5.1 图灵机与神经网络
11.5.2 智能的可计算性
11.5.3 逻辑推理的时间复杂度
参考文献