（1）需求导向，实用为本：作者凭借多年AI培训与社区建设的深厚积累，汲取项目实践与学员互动之精华，提炼出高效实用的开发方法论，为读者提供值得信赖的专业指导。
（2）案例驱动，高效通关：精选Chat、辅助编程、RAG、翻译、AI Agent、智能语音对话、数字人、模型训练、AI小镇及VS Code插件等十大领域案例，引导读者快速通关核心领域的大模型应用开发。
（3）实操验证，轻松上手：作者将丰富的实战经验精炼成一系列经过严格验证的部署、微调和量化操作流程，确保读者在多领域场景中获得高效、精准的开发体验。

本书系统地讲解了大语言模型的实战应用过程，涵盖基础知识、常见操作和应用开发3个方面，帮助大语言模型的使用者、应用开发者循序渐进地掌握大模型的原理、操作以及多个场景下的应用开发技能。全书共18章，分为三篇：
?基础篇介绍大语言模型的基础知识、应用架构和应用工作模式。
?操作篇详细讲解大模型的实操环节，包括环境搭建、多种有代表性的开源大语言模型的安装、微调与量化等常见操作。
?开发篇讲述大语言模型在Chat、辅助编程、RAG、翻译、AI Agent、智能语音对话、数字人、模型训练、AI小镇这9个领域的应用开发过程，从工作原理、源码分析、部署运行和测试验证等方面进行了详细介绍。中间还穿插讲解了VS Code插件的开发，丰富了应用运行的场景。

目    录<br />前  言<br />基础篇<br />第1章  大语言模型的基础知识  3<br />1.1  大语言模型概述  4<br />1.1.1  基本情况  4<br />1.1.2  发展历史  4<br />1.1.3  发展现状  6<br />1.1.4  发展趋势  7<br />1.2  基本原理  7<br />1.2.1  Transformer架构  8<br />1.2.2  编码器与解码器  8<br />1.2.3  自注意力机制  9<br />1.3  应用开发技术  11<br />1.3.1  Python  11<br />1.3.2  React.js  11<br />1.4  训练方法  12<br />1.4.1  FFT  12<br />1.4.2  RLHF  13<br />1.4.3  P-Tuning  13<br />1.4.4  LoRA  13<br />1.5  常见现象  13<br />1.5.1  幻觉  14<br />1.5.2  灾难性遗忘  14<br />1.5.3  涌现  14<br />1.5.4  价值对齐  15<br />第2章  大语言模型应用架构  16<br />2.1  整体架构  16<br />2.2  基础设施  17<br />2.2.1  硬件部分  17<br />2.2.2  操作系统  18<br />2.3  基础软件  18<br />2.3.1  CUDA  18<br />2.3.2  PyTorch  18<br />2.3.3  Anaconda  19<br />2.3.4  Nginx  19<br />2.4  应用软件  20<br />2.4.1  大语言模型文件  20<br />2.4.2  Transformers库  20<br />2.4.3  服务程序  20<br />2.4.4  API  21<br />2.4.5  客户端程序  21<br />第3章  大语言模型应用的工作模式  22<br />3.1  硬件部署  22<br />3.2  应用软件部署  23<br />3.3  运行模式  24<br />3.3.1  模型API服务的工作模式  24<br />3.3.2  模型API服务的运行过程  25<br />3.3.3  前后端交互方法  26<br />3.3.4  前端实现  27<br />操作篇<br />第4章  应用环境搭建  31<br />4.1  基础设施  31<br />4.1.1  服务器要求  31<br />4.1.2  操作系统准备  31<br />4.1.3  推理卡安装  32<br />4.2  基础软件安装  32<br />4.2.1  Linux  32<br />4.2.2  Windows  40<br />4.3  其他软件安装  41<br />4.3.1  Nginx  41<br />4.3.2  Git  42<br />第5章  大语言模型安装  43<br />5.1  ChatGLM安装  43<br />5.1.1  ChatGLM3模型介绍  43<br />5.1.2  ChatGLM3-6B安装  44<br />5.1.3  编程验证  45<br />5.2  Qwen-VL安装  47<br />5.2.1  Qwen模型介绍  47<br />5.2.2  Qwen-VL-Chat-Int4安装  47<br />5.2.3  编程验证  49<br />5.3  LLaMA2安装  50<br />5.3.1  LLaMA2模型介绍  50<br />5.3.2  Llama-2-7b-chat安装  51<br />5.3.3  运行验证  51<br />5.4  Gemma安装  54<br />5.4.1  Gemma模型介绍  54<br />5.4.2  Gemma-2B安装  55<br />5.4.3  编程验证  55<br />5.5  Whisper安装  57<br />5.5.1  Whisper-large-v3介绍  57<br />5.5.2  Whisper-large-v3安装  57<br />5.5.3  编程验证  58<br />第6章  大语言模型微调  60<br />6.1  ChatGLM微调  60<br />6.1.1  微调方法介绍  61<br />6.1.2  微调环境准备  61<br />6.1.3  语料准备  62<br />6.1.4  模型下载  65<br />6.1.5  微调过程  65<br />6.1.6  微调模型测试  67<br />6.2  LLaMA2微调  68<br />6.2.1  微调方法介绍  68<br />6.2.2  微调环境准备  69<br />6.2.3  语料准备  70<br />6.2.4  模型下载  71<br />6.2.5  微调过程  71<br />6.2.6  PEFT微调模型测试  73<br />6.2.7  模型合并  74<br />6.2.8  合并后模型测试  74<br />6.3  Gemma微调  74<br />6.3.1  微调方法介绍  74<br />6.3.2  微调环境准备  75<br />6.3.3  模型下载  75<br />6.3.4  微调程序开发  75<br />6.3.5  语料文件下载  77<br />6.3.6  微调与测试过程  78<br />第7章  大语言模型量化  79<br />7.1  量化介绍  79<br />7.2  llama.cpp量化过程  80<br />7.2.1  llama.cpp编译  80<br />7.2.2  模型GGUF格式转换  81<br />7.2.3  模型下载  81<br />7.2.4  量化过程  81<br />7.2.5  量化模型测试  82<br />7.2.6  Web方式运行  82<br />7.3  gemma.cpp量化过程  83<br />7.3.1  gemma.cpp源码下载  83<br />7.3.2  gemma.cpp编译  83<br />7.3.3  量化模型下载  84<br />7.3.4  推理  84<br />第8章  多模态模型应用  86<br />8.1  Stable Diffusion介绍  86<br />8.2  Stable Diffusion部署  87<br />8.2.1  代码获取  87<br />8.2.2  Python虚拟环境准备  87<br />8.2.3  依赖库安装  87<br />8.2.4  模型下载  88<br />8.2.5  服务运行  88<br />8.3  Stable Diffusion应用  88<br />8.3.1  文生图应用  89<br />8.3.2  图生图应用  90<br />开发篇<br />第9章  Chat应用  94<br />9.1  目标  94<br />9.2  原理  94<br />9.2.1  功能概要  94<br />9.2.2  系统架构  95<br />9.2.3  运行原理  96<br />9.3  开发过程  96<br />9.3.1  Node.js安装  96<br />9.3.2  chat-app新建  96<br />9.3.3  源代码  97<br />9.3.4  测试  98<br />9.3.5  应用发布  99<br />第10章  辅助编程应用  102<br />10.1  目标  103<br />10.2  原理  103<br />10.2.1  功能概要  103<br />10.2.2  系统架构  103<br />10.2.3  运行原理  104<br />10.3  开发过程  104<br />10.3.1  开发环境准备  104<br />10.3.2  测试模型准备  105<br />10.3.3  API服务实现  106<br />10.3.4  测试  110<br />第11章  VS Code插件  112<br />11.1  目标  112<br />11.2  原理  112<br />11.2.1  功能概要  112<br />11.2.2  系统架构  113<br />11.2.3  运行原理  114<br />11.3  开发过程  114<br />11.3.1  环境准备与项目创建  115<br />11.3.2  插件开发  115<br />11.3.3  插件发布  118<br />第12章  检索增强生成应用  121<br />12.1  目标  121<br />12.2  原理  122<br />12.2.1  功能概要  122<br />12.2.2  系统架构  123<br />12.2.3  运行原理  124<br />12.3  开发过程  125<br />12.3.1  大语言模型安装  125<br />12.3.2  依赖库安装  125<br />12.3.3  向量化模型下载  126<br />12.3.4  源代码  126<br />12.3.5  测试  128<br />第13章  PDF翻译应用  130<br />13.1  目标  130<br />13.2  原理  130<br />13.2.1  功能概要  130<br />13.2.2  系统架构  131<br />13.2.3  运行原理  131<br />13.3  开发过程  135<br />13.3.1  大语言模型安装  135<br />13.3.2  依赖环境安装  135<br />13.3.3  下载英译中模型  135<br />13.3.4  源代码  136<br />13.3.5  测试  138<br />第14章  智能代理应用  140<br />14.1  目标  140<br />14.2  原理  141<br />14.2.1  AI Agent  141<br />14.2.2  AutoGen  141<br />14.3  开发过程  143<br />14.3.1  大语言模型安装  143<br />14.3.2  Docker安装  144<br />14.3.3  虚拟环境准备  145<br />14.3.4  运行环境验证  145<br />14.3.5  多代理会话应用开发  146<br />第15章  语音模型应用  149<br />15.1  目标  149<br />15.2  原理  149<br />15.2.1  功能概要  149<br />15.2.2  系统架构  150<br />15.2.3  运行原理  151<br />15.3  开发过程  152<br />15.3.1  运行环境安装  152<br />15.3.2  模型下载  153<br />15.3.3  Demo运行  153<br />15.3.4  服务端开发  154<br />15.3.5  客户端开发  160<br />15.3.6  测试  163<br />第16章  数字人应用  166<br />16.1  目标  166<br />16.2  原理  167<br />16.2.1  功能概要  167<br />16.2.2  系统架构  167<br />16.2.3  运行原理  168<br />16.3  开发过程  169<br />16.3.1  环境准备  169<br />16.3.2  源代码  173<br />16.3.3  测试  177<br />第17章  提示词生成应用：从零训练<br />模型  179<br />17.1  目标  179<br />17.2  原理  180<br />17.2.1  GPT-2  180<br />17.2.2  训练流程与应用架构  181<br />17.2.3  训练方法与运行原理  182<br />17.3  开发与训练过程  185<br />17.3.1  语料整理  186<br />17.3.2  训练  188<br />17.3.3  推理与服务  196<br />17.3.4  测试  202<br />第18章  AI小镇应用  204<br />18.1  目标  204<br />18.2  原理  205<br />18.2.1  功能概要  205<br />18.2.2  系统架构  206<br />18.2.3  运行原理  207<br />18.3  开发过程  209<br />18.3.1  大语言模型安装  210<br />18.3.2  开发环境搭建  210<br />18.3.3  地图制作  210<br />18.3.4  app.js  211<br />18.3.5  BootScene.js  213<br />18.3.6  GameScene.js  213<br />18.3.7  ChatUtils.js  218<br />18.3.8  测试  219