随着大语言模型的日益火爆，各行各业都想把AI（人工智能）接入自己的业务场景，但是只依靠语言大模型就能解决业务场景的实际需求吗？要想真正把AI 落地肯定少不了要结合自己业务场景的数据，定制AI 所承担的角色，给它配置上需要使用的工具并按照标准化的流程办事。那么这些操作就可以使用本书讲述的Agent（智能体）来实现。本书使用通俗的语言讲解智能体各核心组件的构建原理与应用流程，基于主流智能体框架（Coze、AutoGenStudio）进行案例应用实践，全流程解读如何基于实际业务场景打造专属智能体。为了使读者将Agent 应用在自己的私有化场景中进行落地应用，本书还讲解了如何微调本地大语言模型并将本地大语言模型与智能体结合，从而打造你的私有助理。

目录
第1 章 Agent 架构与应用 ............................................................................................ 1
1.1 初识Agent .......................................................................................................................... 1
1.1.1 感知能力 ................................................................................................................. 2
1.1.2 思考能力 ................................................................................................................. 2
1.1.3 动作能力 ................................................................................................................. 3
1.1.4 记忆能力 ................................................................................................................. 4
1.2 Agent 框架 .......................................................................................................................... 5
1.2.1 Agent 框架理念 ...................................................................................................... 5
1.2.2 常用Agent 框架 ..................................................................................................... 6
1.3 Multi-Agent 多角色协作 .................................................................................................. 12
1.3.1 SOP 拆解 ............................................................................................................... 12
1.3.2 角色扮演 ............................................................................................................... 13
1.3.3 反馈迭代 ............................................................................................................... 13
1.3.4 监督控制 ............................................................................................................... 13
1.3.5 实例说明 ............................................................................................................... 14
1.4 Agent 应用分析 ................................................................................................................ 16
1.4.1 Agent 自身场景落地 ............................................................................................ 16
1.4.2 Agent 结合RPA 场景落地 ................................................................................... 19
1.4.3 Agent 多态具身机器人 ........................................................................................ 25
? AI Agent 应用与项目实践
第2 章 使用Coze 打造专属Agent ............................................................................ 29
2.1 Coze 平台 ......................................................................................................................... 29
2.1.1 Coze 平台的优势 .................................................................................................. 29
2.1.2 Coze 平台界面 ...................................................................................................... 30
2.1.3 Coze 平台的功能模块 .......................................................................................... 33
2.2 Agent 的实现流程 ............................................................................................................ 34
2.2.1 Agent 需求分析 .................................................................................................... 34
2.2.2 Agent 架构设计 .................................................................................................... 35
2.3 使用Coze 平台打造专属的NBA 新闻助手 .................................................................. 35
2.3.1 需求分析与设计思路制定 ................................................................................... 35
2.3.2 NBA 新闻助手的实现与测试 .............................................................................. 36
2.4 使用Coze 平台打造小红书文案助手 ............................................................................. 55
2.4.1 需求分析与设计思路制定 ................................................................................... 55
2.4.2 小红书文案助手的实现与测试 ........................................................................... 55
2.5 小结 ................................................................................................................................. 70
第3 章 打造专属领域的客服聊天机器人 .................................................................... 71
3.1 客服聊天机器人概述 ....................................................................................................... 71
3.1.1 客服聊天机器人价值简介 ................................................................................... 71
3.1.2 客服聊天机器人研发工具 ................................................................................... 72
3.2 AI 课程客服聊天机器人总体架构 ................................................................................. 74
3.2.1 前端功能设计 ....................................................................................................... 76
3.2.2 后端功能设计 ....................................................................................................... 78
3.3 AI 课程客服聊天机器人应用实例 ................................................................................. 86
第4 章 AutoGen 智能体开发框架实践 ....................................................................... 88
4.1 AutoGen 开发环境 ........................................................................................................... 89
4.1.1 Anaconda ............................................................................................................... 89
4.1.2 PyCharm ................................................................................................................ 89
4.1.3 AutoGen Studio ..................................................................................................... 89
4.2 AutoGen Studio 案例 ....................................................................................................... 91
4.2.1 案例介绍 ............................................................................................................... 91
4.2.2 AutoGen Studio 模型配置 .................................................................................... 91
4.2.3 AutoGen Studio 技能配置 .................................................................................... 95
4.2.4 AutoGen Studio 本地化配置 .............................................................................. 117
第5 章 生成式代理――以斯坦福AI 小镇为例 ......................................................... 131
5.1 生成式代理简介 ............................................................................................................ 131
5.2 斯坦福AI 小镇项目简介 .............................................................................................. 133
5.2.1 斯坦福AI 小镇项目背景 ................................................................................... 133
5.2.2 斯坦福AI 小镇设计原理 ................................................................................... 133
5.2.3 斯坦福AI 小镇典型情景 ................................................................................... 134
5.2.4 交互体验 ............................................................................................................. 135
5.2.5 技术实现 ............................................................................................................. 136
5.2.6 社会影响 ............................................................................................................. 138
5.3 斯坦福AI 小镇体验 ...................................................................................................... 139
5.3.1 资源准备 ............................................................................................................. 139
5.3.2 部署运行 ............................................................................................................. 139
5.3.3 代码解读 ............................................................................................................. 146
5.4 生成式代理的行为和交互 ............................................................................................. 155
5.4.1 模拟个体和个体间的交流 ................................................................................. 155
5.4.2 环境交互 ............................................................................................................. 157
5.4.3 示例“日常生活中的一天” .................................................................................. 158
5.4.4 自发社会行为 ..................................................................................................... 159
5.5 生成式代理架构 ............................................................................................................ 160
5.5.1 记忆和检索 ......................................................................................................... 161
5.5.2 反思 ..................................................................................................................... 163
5.5.3 计划和反应 ......................................................................................................... 165
5.6 沙盒环境实现 ................................................................................................................ 167
5.7 评估 ............................................................................................................................... 169
5.7.1 评估程序 ............................................................................................................. 169
5.7.2 条件 ..................................................................................................................... 170
5.7.3 分析 ..................................................................................................................... 171
5.7.4 结果 ..................................................................................................................... 172
5.8 生成式代理的进一步探讨 ............................................................................................. 173
第6 章 RAG检索架构分析与应用 ........................................................................... 176
6.1 RAG 架构分析 ............................................................................................................... 177
6.1.1 检索器 ................................................................................................................. 177
6.1.2 生成器 ................................................................................................................. 178
6.2 RAG 工作流程 ............................................................................................................... 178
6.2.1 数据提取 ............................................................................................................. 179
6.2.2 文本分割 ............................................................................................................. 179
6.2.3 向量化 ................................................................................................................. 180
6.2.4 数据检索 ............................................................................................................. 181
6.2.5 注入提示 ............................................................................................................. 181
6.2.6 提交给LLM ........................................................................................................ 182
6.3 RAG 与微调和提示词工程的比较 ............................................................................... 182
6.4 基于LangChain 的RAG 应用实践 .............................................................................. 183
6.4.1 基础环境准备 ..................................................................................................... 183
6.4.2 收集和加载数据 ................................................................................................. 183
6.4.3 分割原始文档 ..................................................................................................... 184
6.4.4 数据向量化后入库 ............................................................................................. 184
6.4.5 定义数据检索器 ................................................................................................. 185
6.4.6 创建提示 ............................................................................................................. 185
6.4.7 调用LLM 生成回答 ........................................................................................... 185
第7 章 RAG应用案例――使用RAG 部署本地知识库 ............................................ 188
7.1 部署本地环境及安装数据库 ......................................................................................... 191
7.1.1 在Python 环境中创建虚拟环境并安装所需的库 ............................................ 191
7.1.2 安装phidata 库 ................................................................................................... 191
7.1.3 安装和配置Ollama ............................................................................................ 192
7.1.4 基于Ollama 安装Llama 3 模型和nomic-embed-text 模型 ............................. 193
7.1.5 下载和安装Docker 并用Docker 下载向量数据库的镜像 .............................. 193
7.2 代码部分及前端展示配置 ............................................................................................. 194
7.2.1 assistant.py 代码 .................................................................................................. 194
7.2.2 app.py 代码 ......................................................................................................... 197
7.2.3 启动AI 交互页面 ............................................................................................... 203
7.2.4 前端交互功能及对应代码 ................................................................................. 204
7.3 调用云端大语言模型 ..................................................................................................... 212
7.3.1 配置大语言模型的API Key .............................................................................. 214
7.3.2 修改本地RAG 应用代码 ................................................................................... 215
7.3.3 启动并调用云端大语言模型 ............................................................................. 217
第8 章 LLM本地部署与应用 ................................................................................... 221
8.1 硬件准备 ........................................................................................................................ 221
8.2 操作系统选择 ................................................................................................................ 222
8.3 搭建环境所需组件......................................................................................................... 223
8.4 LLM 常用知识介绍 ....................................................................................................... 226
8.4.1 分类 ..................................................................................................................... 226
8.4.2 参数大小 ............................................................................................................. 226
8.4.3 训练过程 ............................................................................................................. 226
8.4.4 模型类型 ............................................................................................................. 226
8.4.5 模型开发框架 ..................................................................................................... 227
8.4.6 量化大小 ............................................................................................................. 227
8.5 量化技术 ........................................................................................................................ 228
8.6 模型选择 ........................................................................................................................ 229
8.6.1 通义千问 ............................................................................................................. 229
8.6.2 ChatGLM ............................................................................................................. 229
8.6.3 Llama ................................................................................................................... 229
8.7 模型应用实现方式......................................................................................................... 230
8.7.1 Chat ..................................................................................................................... 230
8.7.2 RAG ..................................................................................................................... 230
8.7.3 高效微调 ............................................................................................................. 230
8.8 通义千问1.5-0.5B 本地Windows 部署实践 ................................................................ 231
8.8.1 介绍 ..................................................................................................................... 231
8.8.2 环境要求 ............................................................................................................. 231
8.8.3 依赖库安装 ......................................................................................................... 232
8.8.4 快速使用 ............................................................................................................. 233
8.8.5 量化 ..................................................................................................................... 235
8.9 基于LM Studio 和AutoGen Studio 使用通义千问 ..................................................... 235
8.9.1 LM Studio 介绍 ................................................................................................... 235
8.9.2 AutoGen Studio 介绍 .......................................................................................... 235
8.9.3 LM Studio 的使用 ............................................................................................... 236
8.9.4 在LM Studio 上启动模型的推理服务 .............................................................. 238
8.9.5 启动AutoGen Studio 服务 ................................................................................. 239
8.9.6 进入AutoGen Studio 界面 ................................................................................. 239
8.9.7 使用AutoGen Studio 配置大语言模型服务 ..................................................... 240
8.9.8 把Agent 中的模型置换成通义千问 .................................................................. 241
8.9.9 运行并测试Agent .............................................................................................. 242
第9 章 LLM与LoRA 微调策略解读 ........................................................................ 244
9.1 LoRA 技术 ..................................................................................................................... 244
9.1.1 LoRA 简介 .......................................................................................................... 244
9.1.2 LoRA 工作原理 .................................................................................................. 246
9.1.3 LoRA 在大语言模型中的应用 .......................................................................... 246
9.1.4 实施方案 ............................................................................................................. 247
9.2 LoRA 参数说明 ............................................................................................................. 247
9.2.1 注意力机制中的LoRA 参数选择 ..................................................................... 247
9.2.2 LoRA 网络结构中的参数选择 .......................................................................... 248
9.2.3 LoRA 微调中基础模型的参数选择 .................................................................. 250
9.3 LoRA 扩展技术介绍 ...................................................................................................... 250
9.3.1 QLoRA 介绍 ....................................................................................................... 250
9.3.2 Chian of LoRA 方法介绍 ................................................................................... 251
9.4 大语言模型在LoRA 微调中的性能分享 ..................................................................... 251
第10 章 PEFT 微调实践：打造医疗领域LLM ......................................................... 252
10.1 PEFT 介绍 .................................................................................................................... 252
10.2 工具与环境准备 .......................................................................................................... 253
10.2.1 工具安装 ........................................................................................................... 253
10.2.2 环境搭建 ........................................................................................................... 256
10.3 模型微调实践 .............................................................................................................. 265
10.3.1 模型微调整体流程 ........................................................................................... 265
10.3.2 项目目录结构说明 ........................................................................................... 266
10.3.3 基础模型选择 ................................................................................................... 267
10.3.4 微调数据集构建 ............................................................................................... 268
10.3.5 LoRA 微调主要参数配置 ................................................................................ 269
10.3.6 微调主要执行流程 ........................................................................................... 271
10.3.7 运行模型微调代码 ........................................................................................... 272
10.4 模型推理验证 .............................................................................................................. 273
第11 章 Llama 3 模型的微调、量化、部署和应用 ................................................... 276
11.1 准备工作 ....................................................................................................................... 277
11.1.1 环境配置和依赖库安装 ................................................................................... 277
11.1.2 数据收集和预处理 ........................................................................................... 279
11.2 微调Llama 3 模型 ....................................................................................................... 280
11.2.1 微调的意义与目标 ........................................................................................... 280
11.2.2 Llama 3 模型下载 ............................................................................................. 280
11.2.3 使用Llama-factory 进行LoRA 微调 ............................................................... 282
11.3 模型量化 ....................................................................................................................... 294
11.3.1 量化的概念与优势 ........................................................................................... 294
11.3.2 量化工具Llama.cpp 介绍 ................................................................................ 294
11.3.3 Llama.cpp 部署 ................................................................................................. 295
11.4 模型部署 ....................................................................................................................... 300
11.4.1 部署环境选择 ................................................................................................... 300
11.4.2 部署流程详解 ................................................................................................... 301
11.5 低代码应用示例 ........................................................................................................... 302
11.5.1 搭建本地大语言模型 ....................................................................................... 302
11.5.2 搭建用户界面 ................................................................................................... 303
11.5.3 与知识库相连 ................................................................................................... 306
11.6 未来展望 ....................................................................................................................... 309