人工智能已在多个行业得到成功应用，大模型的应用已成为突破性进展的重要驱动力，而在特定垂直领域，如医疗、法律、金融等，大模型微调面临独特的挑战和需求。本书致力于大型语言模型微调与应用的关键技术，本书探讨两个热门应用方向：大模型的知识专业性和时效性。本书剖析了垂直领域大模型训练的背景及意义，探讨大模型在垂直领域的迁移学习、应用部署与效果评估等核心内容，结合实际案例，深入浅出地解析了每个环节的关键问题和解决方案，引领读者了解行业内近期新研究成果与发展趋势，方便读者快捷地嫁接到各个行业。

目 录
第1章 从零开始大模型之旅\t1
1.1 对话机器人历史\t1
1.1.1 人机同频交流\t1
1.1.2 人机对话发展历史\t2
1.2 人工智能\t4
1.2.1 从感知到创造\t4
1.2.2 通用人工智能\t7
1.2.3 发展方向\t9
1.2.4 本书焦点\t10
1.3 本章小结\t11
第2章 大模型私有化部署\t12
2.1 CUDA环境准备\t12
2.1.1 基础环境\t12
2.1.2 大模型运行环境\t13
2.1.3 安装显卡驱动\t14
2.1.4 安装CUDA\t18
2.1.5 安装cuDNN\t24
2.2 深度学习环境准备\t26
2.2.1 安装Anaconda环境\t26
2.2.2 服务器环境下的环境启动\t30
2.2.3 安装PyTorch\t32

2.3 GLM-3和GLM-4\t34
2.3.1 GLM-3介绍\t34
2.3.2 GLM-4介绍\t36
2.4 GLM-4私有化部署\t36
2.4.1 创建虚拟环境\t37
2.4.2 下载GLM-4项目文件\t37
2.4.3 安装项目依赖包\t39
2.4.4 下载模型权重\t40
2.5 运行GLM-4的方式\t41
2.5.1 基于命令行的交互式对话\t42
2.5.2 基于Gradio库的Web端对话应用\t42
2.5.3 OpenAI风格的API调用方法\t43
2.5.4 模型量化部署\t45
2.6 本章小结\t47
第3章 大模型理论基础\t49
3.1 自然语言领域中的数据\t49
3.1.1 时间序列数据\t49
3.1.2 分词\t50
3.1.3 Token\t53
3.1.4 Embedding\t53
3.1.5 语义向量空间\t54
3.2 语言模型历史演进\t55
3.2.1 语言模型历史演进\t55
3.2.2 统计语言模型\t57
3.2.3 神经网络语言模型\t58
3.3 注意力机制\t58
3.3.1 RNN模型\t58
3.3.2 Seq2Seq模型\t60
3.3.3 Attention注意力机制\t62
3.4 Transformer架构\t65
3.4.1 整体架构\t65
3.4.2 Self-Attention\t66
3.4.3 Multi-Head Attention\t68
3.4.4 Encoder\t68
3.4.5 Decoder\t70
3.4.6 实验效果\t71
3.5 本章小结\t72
第4章 大模型开发工具\t73
4.1 Huggingface\t73
4.1.1 Huggingface介绍\t73
4.1.2 安装Transformers库\t77
4.2 大模型开发工具\t79
4.2.1 开发范式\t79
4.2.2 Transformers库核心设计\t80
4.3 Transformers库详解\t84
4.3.1 NLP任务处理全流程\t84
4.3.2 数据转换形式\t86
4.3.3 Tokenizer\t88
4.3.4 模型加载和解读\t92
4.3.5 模型的输出\t94
4.3.6 模型的保存\t97
4.4 全量微调训练方法\t98
4.4.1 Datasets库和Accelerate库\t98
4.4.2 数据格式\t101
4.4.3 数据预处理\t103
4.4.4 模型训练的参数\t106
4.4.5 模型训练\t108
4.4.6 模型评估\t110
4.5 本章小结\t115
第5章 高效微调方法\t117
5.1 主流的高效微调方法介绍\t117
5.1.1 微调方法介绍\t117
5.1.2 Prompt的提出背景\t119
5.2 PEFT库快速入门\t121
5.2.1 介绍\t121
5.2.2 设计理念\t122
5.2.3 使用\t125
5.3 Prefix Tuning\t129
5.3.1 背景\t129
5.3.2 核心技术解读\t129
5.3.3 实现步骤\t131
5.3.4 实验结果\t134
5.4 Prompt Tuning\t135
5.4.1 背景\t135
5.4.2 核心技术解读\t136
5.4.3 实现步骤\t137
5.4.4 实验结果\t139
5.5 P-Tuning\t140
5.5.1 背景\t140
5.5.2 核心技术解读\t141
5.5.3 实现步骤\t142
5.5.4 实验结果\t144
5.6 P-Tuning V2\t145
5.6.1 背景\t145
5.6.2 核心技术解读\t146
5.6.3 实现步骤\t147
5.6.4 实验结果\t149
5.7 本章小结\t150
第6章 LoRA微调GLM-4实战\t151
6.1 LoRA\t151
6.1.1 背景\t151
6.1.2 核心技术解读\t152
6.1.3 LoRA的特点\t153
6.1.4 实现步骤\t155
6.1.5 实验结果\t157
6.2 AdaLoRA\t157
6.2.1 LoRA的缺陷\t157
6.2.2 核心技术解读\t158
6.2.3 实现步骤\t160
6.2.4 实验结果\t161
6.3 QLoRA\t162
6.3.1 背景\t162
6.3.2 技术原理解析\t163
6.4 量化技术\t165
6.4.1 背景\t165
6.4.2 量化技术分类\t165
6.4.3 BitsAndBytes库\t166
6.4.4 实现步骤\t166
6.4.5 实验结果\t169
6.5 本章小结\t169
第7章 提示工程入门与实践\t170
7.1 探索大模型潜力边界\t170
7.1.1 潜力的来源\t170
7.1.2 Prompt的六个建议\t171
7.2 Prompt实践\t173
7.2.1 四个经典推理问题\t173
7.2.2 大模型原始表现\t175
7.3 提示工程\t177
7.3.1 提示工程的概念\t177
7.3.2 Few-shot\t177
7.3.3 通过思维链提示法提升模型推理能力\t180
7.3.4 Zero-shot-CoT提示方法\t181
7.3.5 Few-shot-CoT提示方法\t185
7.4 Least-to-Most Prompting（LtM提示方法）\t188
7.4.1 Least-to-Most Prompting基本概念\t188
7.4.2 Zero-shot-LtM提示过程\t189
7.4.3 效果验证\t191
7.5 提示使用技巧\t192
7.5.1 B.R.O.K.E提示框架\t193
7.5.2 C.O.A.S.T提示框架\t195
7.5.3 R.O.S.E.S提示框架\t196
7.6 本章小结\t197
第8章 大模型与中间件\t198
8.1 AI Agent\t198
8.1.1 从AGI到Agent\t198
8.1.2 Agent概念\t199
8.1.3 AI Agent应用领域\t200
8.2 大模型对话模式\t201
8.2.1 模型分类\t201
8.2.2 多角色对话模式\t203
8.3 多角色对话模式实战\t204
8.3.1 messages参数结构及功能解释\t204
8.3.2 messages参数中的角色划分\t205
8.4 Function Calling功能\t207
8.4.1 发展历史\t208
8.4.2 简单案例\t209
8.5 实现多函数\t214
8.5.1 定义多个工具函数\t214
8.5.2 测试结果\t217
8.6 Bing搜索嵌入LLM\t217
8.6.1 昙花一现的Browsing with Bing\t217
8.6.2 需求分析\t218
8.6.3 Google搜索API的获取和使用\t220
8.6.4 构建自动搜索问答机器人\t223
8.7 本章小结\t225
第9章 LangChain理论与实战\t226
9.1 整体介绍\t226
9.1.1 什么是LangChain\t226
9.1.2 意义\t227
9.1.3 架构\t228
9.2 Model I/O\t229
9.2.1 架构\t229
9.2.2 LLM\t230
9.2.3 ChatModel\t233
9.2.4 Prompt Template\t234
9.2.5 实战：LangChain接入本地GLM\t237
9.2.6 Parser\t239
9.3 Chain\t240
9.3.1 基础概念\t240
9.3.2 常用的Chain\t241
9.4 Memory\t249
9.4.1 基础概念\t249
9.4.2 流程解读\t250
9.4.3 常用Memory\t251
9.5 Agents\t257
9.5.1 理论\t257
9.5.2 快速入门\t259
9.5.3 架构\t262
9.6 LangChain实现Function Calling\t266
9.6.1 工具定义\t266
9.6.2 OutputParser\t267
9.6.3 使用\t268
9.7 本章小结\t269
第10章 实战：垂直领域大模型\t270
10.1 QLoRA微调GLM-4\t270
10.1.1 定义全局变量和参数\t270
10.1.2 红十字会数据准备\t271
10.1.3 训练模型\t283
10.2 大模型接入数据库\t291
10.2.1 大模型挑战\t291
10.2.2 数据集准备\t292
10.2.3 SQLite3\t293
10.2.4 获取数据库信息\t294
10.2.5 构建tools信息\t297
10.2.6 模型选择\t298
10.2.7 效果测试\t299
10.3 LangChain重写查询\t300
10.3.1 环境配置\t300
10.3.2 工具使用\t301
10.4 RAG检索增强\t302
10.4.1 自动化数据生成\t303
10.4.2 RAG搭建\t303
10.5 本章小结\t307
参考文献\t308