本书从模型的结构和数据基础两个方面解构大语言模型，以便帮助读者理解和搭建类似ChatGPT的系统。在模型的结构方面，大语言模型属于深度神经网络，其设计核心是注意力机制，因此，本书涵盖了多层感知器、卷积神经网络和循环神经网络等经典模型。在模型的数据基础方面，本书既涉及模型训练的工程基础，如反向传播，又涉及数据的使用方式，如迁移学习、强化学习，以及传统的监督学习和无监督学习。此外，本书还阐述了如何从计量经济学和经典机器学习模型中汲取灵感，以提高模型的稳定性和可解释性。
本书既适用于希望深入了解大语言模型、通过人工智能技术解决实际问题的读者，也适合作为高等院校计算机及相关专业的师生参考用书。

唐亘，数据科学家，专注于机器学习和大数据，热爱并积极参与ApacheSpark、Scikit-Learn等开源项目。作为讲师和技术顾问，为多家机构（包括惠普、华为、复旦大学等）提供百余场技术培训。
此前的工作和研究集中于经济和量化金融，曾参与经合组织（QECD）的研究项目并发表论文，并担任英国最大在线出版社Packt的技术审稿人。曾获得复旦大学的数学和计算机双学士学位、巴黎综合理工大学的金融硕士学位、法国国立统计与经济管理学校的数据科学硕士学位。

第1章 绪论
1.1 是数字鹦鹉，还是自我意识
1.1.1 电车难题
1.1.2 任务分解
1.2 数据基础
1.3 模型结构
1.4 关于本书
第2章 数学基础：不可或缺的知识
2.1 向量、矩阵和张量
2.1.1 标量、向量、矩阵与张量
2.1.2 数学记号与特殊矩阵
2.1.3 矩阵运算
2.1.4 向量夹角
2.1.5 矩阵的秩
2.1.6 高维张量运算
2.2 概率
2.2.1 定义概率：事件和概率空间
2.2.2 条件概率：信息的价值
2.2.3 随机变量
2.2.4 正态分布：殊途同归
2.2.5 P-value：自信的猜测
2.3 微积分
2.3.1 导数和积分
2.3.2 极限
2.3.3 链式法则
2.3.4 偏导数与梯度
2.3.5 极值与最值
2.4 本章小结
第3章 线性回归：模型之母
3.1 一个简单的例子
3.1.1 机器学习的建模方式
3.1.2 统计分析的建模方式
3.2 模型实现
3.2.1 机器学习的代码实现
3.2.2 统计分析的代码实现
3.3 模型陷阱
3.3.1 过拟合：模型越复杂越好吗
3.3.2 假设检验：统计分析的解决方案
3.3.3 惩罚项：机器学习的解决方案
3.3.4 比较两种方案
3.4 面向未来的准备
3.4.1 图形表示与数学表达
3.4.2 模型的生命周期与持久化
3.5 本章小结
3.5.1 要点回顾
3.5.2 常见面试问题
第4章 逻辑回归：隐藏因子
4.1 二元分类问题：是与否
4.1.1 线性回归：为何失效
4.1.2 窗口效应：看不见的才是关键
4.1.3 逻辑分布
4.1.4 似然函数：统计分析的参数估计
4.1.5 损失函数：机器学习的参数估计
4.1.6 最终预测：从概率到类别
4.2 模型实现
4.2.1 初步分析数据：直观印象
4.2.2 搭建模型
4.2.3 理解模型结果
4.3 评估模型效果
4.3.1 查准率与查全率
4.3.2 F-score
4.3.3 ROC空间
4.3.4 ROC曲线与AUC
4.3.5 AUC的概率解释
4.4 非均衡数据集
4.4.1 准确度悖论
4.4.2 模型效果影响
4.4.3 解决方案
4.5 多元分类问题：超越是与否
4.5.1 多元逻辑回归
4.5.2 One-vs.-All：从二元到多元
4.5.3 模型实现
4.6 本章小结
4.6.1 要点回顾
4.6.2 常见面试问题
第5章 计量经济学的启示：他山之石
5.1 定量与定性：特征的数学运算合理吗
5.2 定性特征的处理
5.2.1 虚拟变量
5.2.2 定性特征转换为定量特征
5.3 定量特征的处理
5.3.1 定量特征转换为定性特征
5.3.2 基于卡方检验的方法
5.4 多重共线性：多变量的烦恼
5.4.1 多重共线性效应
5.4.2 检测多重共线性
5.4.3 解决方法
5.4.4 虚拟变量陷阱
5.5 本章小结
5.5.1 要点回顾
5.5.2 常见面试问题
第6章 最优化算法：参数估计
6.1 算法思路：模拟滚动
6.2 梯度下降法
6.2.1 算法使用的窍门
6.2.2 算法的局限性：局部最优与鞍点
6.3 梯度下降法的代码实现
6.3.1 PyTorch基础
6.3.2 利用PyTorch的封装函数
6.4 随机梯度下降法：更优化的算法
6.4.1 算法细节
6.4.2 代码实现
6.4.3 进一步优化
6.5 本章小结
6.5.1 要点回顾
6.5.2 常见面试问题
第7章 反向传播：神经网络的工程基础
7.1 计算图和向前传播
7.1.1 什么是计算图
7.1.2 代码实现
7.2 链式法则和反向传播
7.2.1 拓扑排序
7.2.2 代码实现
7.2.3 梯度传播过程
7.3 参数估计的全流程
7.3.1 随机梯度下降法回顾
7.3.2 计算图膨胀
7.4 动态优化
7.4.1 梯度累积
7.4.2 参数冻结
7.4.3 随机失活
7.5 真实世界：针对大规模模型的优化技巧
7.5.1 GPU计算
7.5.2 混合精度训练
7.5.3 梯度检查点
7.5.4 分布式计算
7.6 本章小结
7.6.1 要点回顾
7.6.2 常见面试问题
第8章 多层感知器：神经网络的“创世记”
8.1 感知器模型
8.1.1 神经元的数字孪生
8.1.2 图示与计算图
8.1.3 Sigmoid感知器与逻辑回归
8.1.4 Softmax函数
8.2 从神经网络的视角重新理解逻辑回归
8.2.1 回顾窗口效应
8.2.2 代码实现
8.2.3 损失函数为模型注入灵魂
8.2.4 神经网络的建模文化：搭积木
8.3 多层感知器
8.3.1 图形表示
8.3.2 数学基础
8.3.3 令人惊讶的通用性
8.3.4 代码实现
8.3.5 模型的联结主义
8.4 训练优化的关键：激活函数
8.4.1 坏死的神经细胞
8.4.2 数学基础
8.4.3 监控模型训练
8.4.4 不稳定的梯度
8.4.5 激活函数的改进
8.5 从第一步开始优化训练
8.5.1 模