![]()
编辑推荐 自Transformer在2017年发布以来,自然语言处理领域就迈入了 一个全新的时代。以Transformer为基础的模型,不断推动着自 然语言处理技术的进步与革新。如今随着ChatGPT的发布与流行,Transformer也被越来越多的人所了解和使用。 本书以Hugging Face Transformers库为基础,旨在向读者介绍Transformer模型的基础知识和快速入门方式,帮助读者完成训练和扩展。三位作者都是Hugging Face Transformers的创建者,深谙Transformer的原理与架构,将通过实际案例“手把手”地帮助读者构建各种自然语言处理任务,并不断挖掘Transformer的无限潜力,从而实现更广泛的应用和创新。 通过本书,你将: ? 以NLP领域拥有代表性的任务(文本分类、命名实体识别和问答系统)为例,学习构建、调试和优化Transformer模型。 ? 了解Transformer如何应用于跨语言迁移学习。 ? 学习如何在标注数据稀缺的场景中应用Transformer。 ? 使用蒸馏、剪枝和量化等技术优化Transformer。 ? 学习如何对Transformer做分布式并行训练。 内容推荐 本书涵盖了Transformer在NLP领域的主要应用。首先介绍Transformer模型和Hugging Face 生态系统。然后重点介绍情感分析任务以及Trainer API、Transformer的架构,并讲述了在多语言中识别文本内实体的任务,以及Transformer模型生成文本的能力,还介绍了解码策略和度量指标。接着深入挖掘了文本摘要这个复杂的序列到序列的任务,并介绍了用于此任务的度量指标。之后聚焦于构建基于评论的问答系统,介绍如何基于Haystack进行信息检索,探讨在缺乏大量标注数据的情况下提高模型性能的方法。最后展示如何从头开始构建和训练用于自动填充Python源代码的模型,并总结Transformer面临的挑战以及将这个模型应用于其他领域的一些新研究。 目录 序1 前言3 第1章 欢迎来到Transformer的世界11 1.1 编码器-解码器框架12 1.2 注意力机制14 1.3 NLP的迁移学习15 1.4 Hugging FaceTransformers库:提供规范化接口18 1.5 Transformer应用概览19 1.6 Hugging Face生态系统23 1.7 Transformer的主要挑战27 1.8 本章小结27 第2章 文本分类29 2.1 数据集30 2.2 将文本转换成词元36 2.3 训练文本分类器44 2.4 本章小结60 第3章 Transformer架构剖析62 3.1 Transformer架构62 3.2 编码器64 …… |