本书以独特的角度，深入浅出地介绍ChatGPT、提示工程及自然语言处理等相关技术。在内容上，本书科普性与专业性并重，既为普通读者提供基础知识，又有对专业领域的深入探讨。本书通过7章的内容，在全面介绍ChatGPT内部原理的基础上，重点解析提示指令的构建方法，以及如何针对各类任务构建合适的提示指令，为广大读者提供实战经验和指导。
本书适合对ChatGPT充满好奇心的所有读者，不仅可以满足他们探寻ChatGPT内部原理的需求，还能让他们了解如何将其运用于实际工作中。此外，对于有志成为提示工程师的读者，本书提供一条从新手到专家的成长之路，帮助他们打开新的职业发展大门。

陈峥，电子科技大学信息与软件工程学院副教授、自然语言处理实验室负责人，中文信息学会自然语言生成与智能写作专委会委员。在信息抽取、文本摘要、机器翻译、机器问答、文本写作、多模态内容生成等领域具有丰富的科研和实践经验。于中国科学院成都计算机应用研究所获得博士学位，先后在田纳西大学、亚利桑那州立大学从事访学研究，发表论文20余篇，拥有10余项专利，曾主持包括国家自然科学基金在内的多个科研项目。

第1部分 基础知识
1 ChatGPT：开启人工智能的新时代
1.1 ChatGPT是什么
1.2 ChatGPT的历史
1.2.1 GPT-1：预训练加微调
1.2.2 GPT-2：更大更强
1.2.3 GPT-3：能力涌现
1.2.4 ChatGPT：与AI对话
1.2.5 GPT-4：多模态
1.3 ChatGPT的应用场景
1.4 ChatGPT的局限性
2 从网页到API：手把手教你使用ChatGPT
2.1 使用官方网站与ChatGPT进行交互
2.2 用API的方式访问ChatGPT
2.3 使用ChatGPT的其他方式
3 演进之路：从语言模型到提示工程
3.1 什么是语言模型
3.2 语言模型的发展历程
3.2.1 20世纪50年代之前：雏形初现
3.2.2 20世纪的后五十年：由兴到衰
3.2.3 21世纪：新时代
3.3 Transformer模型的结构和原理
3.3.1 注意力机制
3.3.2 自注意力机制
3.3.3 位置信息
3.3.4 缩放点乘注意力
3.3.5 多头自注意力
3.3.6 多层自注意力
3.3.7 交叉注意力
3.3.8 完整的Transformer模型
3.4 语言模型的训练
3.4.1 自回归训练
3.4.2 基于人工反馈的强化学习
3.5 提示工程
3.5.1 提示工程是什么
3.5.2 设计良好提示的常见技巧
3.5.3 提示工程的重要性
第2部分 提示工程
4 人人都能用AI：构建提示指令，化解各类难题
4.1 难题已攻克：AI助你跨越语言的障碍
4.2 不只是纠错：AI让语言表达更精准
4.3 文学创作新思路：人机协作让作品更具灵感
4.4 新闻报道加速器：从收集素材到成稿只需几秒
4.5 一问即答：AI让信息获取更简单
4.6 专家意见何处寻：AI扮演领域专家角色为你答疑解惑
4.7 决策神器：如何让AI给出明确回答，助你做决定
4.8 逻辑驱动的能力提升：数学和编程是一回事儿
5 从新手到专家：普通人如何成为提示工程师
5.1 词法和句法分析
5.1.1 中文分词
5.1.2 命名实体
5.1.3 词性标注
5.1.4 依存句法分析
5.1.5 总结
5.2 信息抽取
5.2.1 关键词提取
5.2.2 实体关系抽取
5.2.3 结构化事件抽取
5.2.4 总结
5.3 分类与聚类
5.3.1 文本分类
5.3.2 情感分析
5.3.3 文本聚类
5.3.4 总结
5.4 理解和问答
5.4.1 常识知识问答
5.4.2 阅读理解问答
5.4.3 问题理解和意图识别
5.4.4 总结
5.5 受控文本生成
5.5.1 文本摘要
5.5.2 文本复述
5.5.3 数据到文本的生成
5.5.4 总结
5.6 谣言和不实信息检测
第3部分 延伸讨论
6 狂欢将至：国产“ChatGPT”接踵而来
6.1 元语智能：ChatYuan
6.2 复旦大学：MOSS
6.3 百度：文心一言
6.4 清华大学：ChatGLM
6.5 其他
7 道阻且长：“ChatGPT”们的缺陷与局限
7.1 幻觉：一柄双刃剑
7.2 毒性：一个社会问题
7.3 记忆：短期的更困难
7.4 多模态：到底有什么用
参考文献

缘起
在人工智能领域，自然
语言处理技术的飞速发展已
经吸引了全球的目光。
ChatGPT作为当前最先进、
最强大的自然语言处理模型
，为人类带来了前所未有的
人机交互体验。然而，
ChatGPT给这个世界带来的
远远不止于此。它犹如蒸汽
机的第一声轰鸣，跨越大洋
的第一束电波，以及月球上
的第一个脚印。ChaGPT的
问世预示着通用人工智能的
临近，宣告了一个伟大时代
正向我们走来。身为一名自
然语言处理研究者，我有幸
亲眼见证并参与这场划时代
的变革。
因此，我决定撰写本书
，让更多的普通人了解自然
语言处理、提示工程和
ChaiGPT，从而也能投身到
这场伟大的变革中来。
在写作本书的过程中，
我目睹了人工智能领域一系
列翻天覆地的变化。GPT-4
、Bard、Oice Copilot、
Midjoumey V5、ChatGPT
Plugins，半个多月的时间
里，新技术层出不穷，每天
都有重磅新闻袭来。这些新
闻让我心潮流湃，深感有责
任将这些知识传播给更多的
人，让他们了解并使用这些
新技术。因此，我在写作过
程中一刻不敢停歇。
本书主要内容
本书共分为7章，涵盖基
础知识、提示工程和延伸讨
论。各部分的内容安排如下
。
第1部分为基础知识，包
括第1章～第3章，主要介绍
ChatGPT的基本概念、用法
，以及语言模型的原理和发
展历史。
第1章介绍ChatGPT的基
本概念，使读者能够全面了
解这项领先的人工智能技术
。本章不仅介绍了ChatGPT
的发展历程，还对其应用场
景和局限性进行了阐述。
第2章详细介绍如何使用
ChatGPT，包括了多种与
ChatGPT交互的方式，如网
页、API，以及各种第三方
工具和网站，帮助读者更好
地使用这一强大的工具。
第3章以通俗易懂的方式
详细介绍语言模型的基本原
理及其演变历程，特别关注
了核心模型——
Transformer。通过阅读本
章，读者将对ChatGPT的运
行机制有更深入的了解，从
而能够更有效地运用这一工
具。此外，本章还介绍了提
示工程的概念和设计方法，
这是后续第二部分内容的基
础。
第2部分为提示工程，包
括第4章和第5章，主要介绍
如何编写合理的提示，从而
使用ChatGPT解决各种问题
并完成各类任务。这部分是
本书的重点。
第4章精心挑选了众多实
例，旨在详尽阐述如何构建
高质量的提示，以便各位读
者在日常生活和工作中充分
利用ChatGPT解决各类问题
、完成多样任务。具体应用
领域涵盖翻译、纠错与润色
、文学创作、新闻撰写、信
息获取、决策支持、以及解
题和编程。
第5章着重探究如何构建
提示指令，以使ChatGPT能
够胜任自然语言处理领域中
的各类专业任务。这些任务
包括词法和句法分析、信息
抽取、分类和聚类、理解和
问答、受控文本生成、谣言
和不实信息检测等。本章内
容旨在为读者提供一份通俗
易懂的提示工程师入门指南
。
第3部分为延伸讨论，包
括第6章和第7章。
第6章介绍国内部分类似
ChatGPT的多任务通用对话
模型，包括ChatYuan、
MOSS、文心一言、
ChatGLM等。本章可以帮助
读者更好地了解国内这一领
域的发展现状。
第7章深入探讨了
ChatGPT及其他类似语言模
型所面临的缺陷与局限。在
这些问题中，幻觉和毒性被
认为是模型的两大核心缺陷
，亟待研究者们不懈努力进
行优化改进。而记忆与多模
态方面的不足，普通用户亦
需了解，以便在实际使用过
程中合理应对。
说明
本书包含了大量与
ChatGPT的对话示例。为了
真实地展示ChatGPT的对话
能力，对话内容中难免会出
现用词不规范、语句不通顺
甚至存在错误的情况。在此
，恳请各位读者包涵。
致谢
在此，我要特别感谢人
工智能技术发展历史上的各
位先驱者，正是他们的积累
和努力，才有了今天的
ChatGPT。同时，我要感谢
博文视点的杨中兴编辑和郑
柳洁编辑，他们的支持和鼓
励使我能够完成这本书的创
作。我还要感谢我的家人，
在他们的陪伴和支持下，我
得以专注于写作，不受外界
干扰。最后，我要感谢这个
伟大的时代，让我们这些普
通人能够见证这些伟大的技
术的到来，共同参与到这场
伟大的变革中。
愿本书成为一座桥梁，
连接着我们与这个伟大时代
，引领我们共同探索未来的
无限可能。在人工智能领域
不断变革的浪潮中，让我们
携手前行，共创更加美好的
未来。
陈峥
2023年春