本书主要介绍神经网络、深度学习和自然语言处理的基本原理、方法和应用，全书分为3部分，每部分涵盖了不同的主题：第1部分（第1～3章）介绍神经网络和深度学习的基础知识，包括人工神经网络的起源和发展，神经网络的表示方法、数学基础理论和机器学习基础，以及表征学习的概念；第2部分（第4章和第5章）介绍自然语言处理和转换器网络；第3部分（第6～10章）介绍自然语言处理的案例分析，包括文本分类任务、实体识别、文本生成和文本摘要的方法和技术、基于评审的问答系统等。
本书是学习并实践神经网络、深度学习和自然语言处理的实用指南，每章都给出了代码示例和实际案例。帮助读者理解和实践所学的知识。本书采用渐进式讲解，理论与实践结合，强调自然语言处理，并且关注最新技术和趋势，适合作为高等学校神经网络、深度学习和自然语言处理相关课程的教材，也是相关专业人员很好的参考用书。

第1部分 神经网络与深度学习
第1章 人工神经网络
1.1 起源和发展
1.2 什么是深度学习
1.3 神经网络的表示
1.4 数学基础理论
1.4.1 数据类型
1.4.2 函数基础
1.4.3 线性代数
1.4.4 梯度计算
1.4.5 概率分布
1.4.6 代码示例
1.5 机器学习基础
1.5.1 什么是分类
1.5.2 一个简单的分类器：朴素贝叶斯
1.5.3 一个简单的神经网络：逻辑回归
1.5.4 评估分类结果
1.6 表征学习
1.6.1 主成分分析
1.6.2 词袋的表征
第2章 前馈神经网络
2.1 单层感知器
2.2 三层神经网络
2.3 激活函数
2.3.1 线性函数
2.3.2 逻辑函数
2.4 更新权重
2.4.1 学习规则
2.4.2 反向传播
2.4.3 梯度下降
2.5 代码示例
2.6 修改和扩展
2.6.1 预期泛化误差
2.6.2 正则化的思想
2.6.3 调整超参数
2.6.4 其他的问题
第3章 深度学习网络
3.1 深度的定义
3.2 卷积神经网络
3.2.1 什么是卷积计算
3.2.2 感受野与卷积层
3.2.3 特征图和池化层
3.2.4 一个卷积网络
3.2.5 用于文本分类
3.3 循环神经网络
3.3.1 不等长序列
3.3.2 循环连接的构成
3.3.3 长短期记忆网络
3.3.4 三种训练方法
3.3.5 一个简单的实现
3.4 深度分布式表征
3.4.1 自编码器
3.4.2 神经语言模型
第2部分 自然语言处理与转换器网络
第4章 自然语言处理
4.1 历史发展
4.2 常见任务
4.2.1 字符和语音识别
4.2.2 形态分析
4.2.3 句法分析
4.2.4 词汇语义
4.2.5 关系语义
4.2.6 话语
4.2.7 高级任务
4.3 未来趋势
4.4 认识转换器
4.4.1 编码器到解码器框架
4.4.2 注意力机制
4.4.3 迁移学习
4.4.4 Hugging Face生态
4.4.5 面对挑战
第5章 转换器网络
5.1 转换器介绍
5.2 理解编码器
5.2.1 输入嵌入层
5.2.2 位置编码
5.2.3 多头自注意力层
5.2.4 残值连接与层归一化
5.2.5 前馈网络层
5.3 理解解码器
5.3.1 掩码多头注意力层
5.3.2 多头注意力层
5.3.3 线性层和Softmax层
5.3.4 运行流程
5.4 训练转换器
5.5 转换器家族
5.5.1 编码器分支
5.5.2 解码器分支
5.5.3 编码器到解码器分支
5.6 概括
第3部分 自然语言处理案例分析
第6章 文本分类案例分析
6.1 数据集
6.1.1 查看数据
6.1.2 转换到数据框
6.1.3 查看类别分布
6.1.4 查看推文长度
6.2 从文本到标记
6.2.1 字符标记化
6.2.2 词标记化
6.2.3 子词标记化
6.2.4 整个数据集
6.3 训练分类器
6.3.1 特征提取器
6.3.2 微调转换器
第7章 实体识别案例分析
7.1 数据集
7.2 多语言转换器
7.3 标记化管道
7.4 模型类剖析
7.4.1 模型体和头
7.4.2 创建自定义模型
7.4.3 加载自定义模型
7.5 标记文本
7.6 绩效衡量
7.7 微调XLM
7.8 错误分析
第8章 文本生成案例分析
8.1 生成连贯文本
8.2 贪心搜索解码
8.3 集束搜索解码
8.4 抽样方法
第9章 文本摘要案例分析
9.1 数据集
9.2 文本摘要管道
9.2.1 基线
9.2.2 GPT-2
9.2.3 T5
9.2.4 BART
9.2.5 PEGASUS
9.2.6 比较不同
9.3 衡量指标
9.3.1 BLEU
9.3.2 ROUGE
第10章 问答系统案例分析
10.1 基于评审的问答系统
10.1.1 数据集
10.1.2 从文本中提取答案
参考文献