“PyTorch深度学习指南”丛书循序渐进地详细讲解了与深度学习相关的重要概念、算法和模型，并着重展示了PyTorch是如何实现这些算法和模型的。其共分三卷：编程基础、计算机视觉、序列与自然语言处理。
本书为该套丛书的第三卷：序列与自然语言处理。本书主要介绍了循环神经网络（RNN、GRU和LSTM）和一维卷积；Seq2Seq模型、注意力、自注意力、掩码和位置编码；Transformer、层归一化和视觉Transformer（ViT）；BERT、GPT-2、单词嵌入和HuggingFace库等内容。
本书适用于对深度学习感兴趣，并希望使用PyTorch实现深度学习的Python程序员阅读学习。

赵春江，博士，毕业于上海交通大学。在信息处理领域有着十余年丰富的教学和科研经验。在科研方面，主持过3项省级教科研项目，在国内外期刊和会议中共发表20余篇学术论文，其中被SCl或EI检索共计12篇。

前言
致谢
关于作者
译者序
常见问题
为什么选择PyTorch？
为什么选择这套书？
谁应该读这套书？
我需要知道什么？
如何阅读这套书？
下一步是什么？
设置指南
官方资料库
环境
谷歌Colab
Binder
本地安装
继续
第8章 序列
剧透
Jupyter Notebook
导入
序列
数据生成
循环神经网络（RNN）
RNN单元
RNN层
形状
堆叠RNN
双向RNN
正方形模型
可视化模型
我们能做得更好吗？
门控循环单元（GRU）
GRU单元
GRU层
正方形模型Ⅱ——速成
模型配置和训练
可视化模型
我们能做得更好吗？
长短期记忆（LSTM）
LSTM单元
LSTM层
正方形模型Ⅲ——巫师
模型配置和训练
可视化隐藏状态
可变长度序列
填充
打包
解包（至填充）
打包（从填充）
可变长度数据集
数据准备
正方形模型Ⅳ——打包
模型配置和训练
一维卷积
形状
多特征或通道
膨胀
数据准备
模型配置和训练
可视化模型
归纳总结
固定长度数据集
可变长度数据集
选择一个合适的模型
模型配置和训练
回顾
第9章（上）：序列到序列
剧透
Jupyter Notebook
导入
序列到序列
数据生成
编码器-解码器架构
编码器
解码器
编码器+解码器
数据准备
模型配置和训练
可视化预测
我们能做得更好吗？
注意力
“值”
“键”和“查询”
计算上下文向量
评分方法
注意力分数
缩放点积
注意力机制
源掩码
解码器
编码器+解码器+注意力机制
模型配置和训练
可视化预测
可视化注意力
多头注意力
第9章（下）：序列到序列
剧透
自注意力
编码器
交叉注意力
解码器
编码器+解码器+自注意力机制
模型配置和训练
可视化预测
不再有序
位置编码（PE）
编码器+解码器+位置编码
模型配置和训练
可视化预测
可视化注意力
归纳总结
数据准备
模型组装
编码器+解码器+位置编码
自注意力的“层”
注意力头
模型配置和训练
回顾
第10章 转换和转出
剧透
Jupyter Notebook
导入
转换和转出
狭义注意力
分块
多头注意力
堆叠编码器和解码器
包裹“子层”
Transformer编码器
Transformer解码器
层归一化
批量与层
我们的Seq2Seq问题
投影或嵌入
Transformer
数据准备
模型配置和训练
可视化预测
PyTorch的Transformer
模型配置和训练
可视化预测
视觉Transformer
数据生成和准备
补丁
特殊分类器词元
模型
模型配置和训练
归纳总结
数据准备
模型组装
模型配置和训练
回顾
第11章 Down the Yellow Brick Rabbit Hole
剧透
Jupyter Notebook
附加设置
导入
“掉进黄砖兔子洞（Down the Yellow Brick Rabbit Hole）”
构建数据集
句子词元化
HuggingFace的数据集
加载数据集
单词词元化
词汇表
HuggingFace的词元化器
单词嵌入之前
独热（One-Hot）编码（OHE）
词袋（BoW）
语言模型
N元（N-gram）
连续词袋（CBoW）
单词嵌入
Word2Vec
什么是嵌入？
预训练的Word2Vec
全局向量（GloVe）
使用单词嵌入
模型Ⅰ——GloVE+分类器
模型Ⅱ——GloVe+Transformer
上下文单词嵌入
ELMo
BERT
文档嵌入
模型Ⅲ——预处理嵌入
BERT
词元化
输入嵌入
预训练任务
输出
模型Ⅳ——使用BERT进行分类
使用HuggingFace进行微调
序列分类（或回归）
词元化数据集
训练器
预测
管道
更多管道
GPT-2
归纳总结
数据准备
模型配置和训练
生成文本
回顾
谢谢您！