自Transformer在2017年发布以来，自然语言处理领域就迈入了 一个全新的时代。以Transformer为基础的模型，不断推动着自 然语言处理技术的进步与革新。如今随着ChatGPT的发布与流行，Transformer也被越来越多的人所了解和使用。
本书以Hugging Face Transformers库为基础，旨在向读者介绍Transformer模型的基础知识和快速入门方式，帮助读者完成训练和扩展。三位作者都是Hugging Face Transformers的创建者，深谙Transformer的原理与架构，将通过实际案例“手把手”地帮助读者构建各种自然语言处理任务，并不断挖掘Transformer的无限潜力，从而实现更广泛的应用和创新。
通过本书，你将：
? 以NLP领域拥有代表性的任务（文本分类、命名实体识别和问答系统）为例，学习构建、调试和优化Transformer模型。
? 了解Transformer如何应用于跨语言迁移学习。
? 学习如何在标注数据稀缺的场景中应用Transformer。
? 使用蒸馏、剪枝和量化等技术优化Transformer。
? 学习如何对Transformer做分布式并行训练。

本书涵盖了Transformer在NLP领域的主要应用。首先介绍Transformer模型和Hugging Face 生态系统。然后重点介绍情感分析任务以及Trainer API、Transformer的架构，并讲述了在多语言中识别文本内实体的任务，以及Transformer模型生成文本的能力，还介绍了解码策略和度量指标。接着深入挖掘了文本摘要这个复杂的序列到序列的任务，并介绍了用于此任务的度量指标。之后聚焦于构建基于评论的问答系统，介绍如何基于Haystack进行信息检索，探讨在缺乏大量标注数据的情况下提高模型性能的方法。最后展示如何从头开始构建和训练用于自动填充Python源代码的模型，并总结Transformer面临的挑战以及将这个模型应用于其他领域的一些新研究。

序1
前言3
第1章 欢迎来到Transformer的世界11
1.1 编码器-解码器框架12
1.2 注意力机制14
1.3 NLP的迁移学习15
1.4 Hugging FaceTransformers库：提供规范化接口18
1.5 Transformer应用概览19
1.6 Hugging Face生态系统23
1.7 Transformer的主要挑战27
1.8 本章小结27
第2章 文本分类29
2.1 数据集30
2.2 将文本转换成词元36
2.3 训练文本分类器44
2.4 本章小结60
第3章 Transformer架构剖析62
3.1 Transformer架构62
3.2 编码器64
……