本书涵盖了Transformer深度学习体系结构的理论知识和实践指南。借助Hugging Face社区的Transformer库，本书循序渐进地提供了各种自然语言处理问题的解决方案。本书采用理论和实践相结合的方式，系统地阐述了自然语言处理的相关理论和技术，详细介绍了使用Transformer训练、微调和部署自然语言处理解决方案的流程。
本书的读者对象主要包括深度学习研究人员、自然语言处理从业人员、教师和学生。本书要求读者具有良好的Python基础知识以及机器学习和深度学习的基本知识。

萨瓦斯·伊尔蒂利姆（Savas Yildrnm）毕业于伊斯坦布尔技术大学计算机工程系，拥有自然语言处理（Natural Language Processing，NLP）专业的博士学位。目前，他是土耳其伊斯坦布尔比尔基大学的副教授，也是加拿大瑞尔森大学的访问研究员。他是一位积极热情的讲师和研究员，具有20多年教授机器学习、深度学习和自然语言处理等课程的丰富经验。他开发了大量的开源软件和资源，为土耳其自然语言理解社区做出了重大贡献。他还为人工智能公司的研究开发项目提供全面的咨询服务。在业余时间，他还创作和导演电影短片，并喜欢练习瑜伽。

第1部分 导论：相关领域的最新发展概述、环境安装和Hello World应用程序
第1章 从词袋到Transformer
1.1 技术需求
1.2 自然语言处理到Transformer的演变历程
1.3 理解分布式语义
1.3.1 词袋技术的实现
1.3.2 克服维度问题
1.3.3 语言建模与生成
1.4 利用深度学习
1.4.1 学习单词嵌入
1.4.2 循环神经网络概述
1.4.3 长短期记忆网络和门控循环单元
1.4.4 卷积神经网络概述
1.5 Transformer体系结构概述
1.5.1 注意力机制
1.5.2 多头注意力机制
1.6 在迁移学习中结合使用Transformer
1.7 本章小结
第2章 Transformer的实践操作入门
2.1 技术需求
2.2 使用Anaconda安装Transformer
2.2.1 在Linux操作系统中安装Anaconda
2.2.2 在Windows操作系统中安装Anaconda
2.2.3 在macOS操作系统中安装Anaconda
2.2.4 安装TensorFlow、PyTorch和Transformer
2.2.5 使用GoogleColab安装环境
2.3 使用语言模型和分词器
2.4 使用社区提供的模型
2.5 使用基准测试和数据集
2.5.1 重要的基准测试
2.5.2 使用应用程序编程接口访问数据集
2.6 速度和内存的基准测试
2.7 本章小结
第2部分 Transformer模型：从自编码模型到自回归模型
第3章 自编码语言模型
3.1 技术需求
3.2 BERT：一种自编码语言模型
3.2.1 BERT语言模型预训练任务
3.2.2 对BERT语言模型的深入研究
3.3 适用于任何语言的自编码语言模型训练
3.4 与社区共享模型
3.5 了解其他自编码模型
3.5.1 Albert模型概述
3.5.2 RoBERTa模型
3.5.3 ELECTRA模型
3.6 使用分词算法
3.6.1 字节对编码
3.6.2 WordPiece分词算法
3.6.3 SentencePiece分词算法
3.6.4 tokenizers库
3.7 本章小结
第4章 自回归和其他语言模型
4.1 技术需求
4.2 使用自回归语言模型
4.2.1 生成式预训练模型的介绍与训练
4.2.2 Transformer-XL模型
4.2.3 XLNet模型
4.3 使用序列到序列模型
4.3.1 T5模型
4.3.2 BART概述
4.4 自回归语言模型训练
4.5 使用自回归模型的自然语言生成
4.6 使用simpletransformers进行总结和机器翻译微调
4.7 本章小结
第5章 微调文本分类语言模型
5.1 技术需求
5.2 文本分类导论
5.3 微调BERT模型以适用于单句二元分类
5.4 使用原生PyTorch训练分类模型
5.5 使用自定义数据集对多类别分类BERT模型进行微调
5.6 微调BERT模型以适用于句子对回归
5.7 使用run_glue.py对模型进行微调
5.8 本章小结
第6章 微调标记分类语言模型
6.1 技术需求
6.2 标记分类概述
6.2.1 理解命名实体识别
6.2.2 理解词性标注
6.2.3 理解问题回答系统
6.3 微调语言模型以适用于命名实体识别任务
6.4 基于标记分类的问题回答系统
6.5 本章小结
第7章 文本表示
7.1 技术需求
7.2 句子嵌入概述
7.2.1 交叉编码器与双向编码器
7.2.2 句子相似性模型的基准测试
7.2.3 使用BART模型进行零样本学习
7.3 使用FLAIR进行语义相似性实验
7.3.1 平均词嵌入
7.3.2 基于循环神经网络的文档嵌入
7.3.3 基于Transformer的BERT嵌入
7.3.4 Sentence-BERT嵌入
7.4 基于Sentence-BERT的文本聚类
7.4.1 基于paraphrase-distilroberta-base-vl的主题建模
7.4.2 基于BERTopic的主题建模
7.5 基于Sentence-BERT的语义搜索
7.6 本章小结
第3部分 高级主题
第8章 使用高效的Transformer
8.1 技术需求
8.2 高效、轻便、快速的Transformer概述
8.3 模型规模缩减的实现
8.3.1 使用DistilBERT进行知识提炼
8.3.2 剪枝
8.3.3 量化
8.4 使用高效的自注意力机制
8.4.1 固定模式下的稀疏注意力机制
8.4.2 可学习的模式
8.4.3 低秩因子分解、核函数和其他方法
8.5 本章小结
第9章 跨语言和多语言建模
9.1 技术需求
9.2 翻译语言建模与跨语言知识共享
9.3 跨语言的语言模型和来自Transformer的多语言双向编码器表示
9.3.1 mBERT
9.3.2 XLM
9.4 跨语言相似性任务
9.4.1 跨语言文本相似性
9.4.2 可视化跨语言文本相似性
9.5 跨语言分类
9.6 跨语言零样本学习
9.7 多语言模型的基本局限性
9.8 微调多语言模型的性能
9.9 本章小结
第10章 部署Transfo