迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理（NLP）、语音识别等领域都得到广泛应用。本书是迁移学习技术的实用入门图书，能够带领读者深入实践自然语言处理模型。首先，本书回顾了机器学习中的关键概念，并介绍了机器学习的发展历史，以及NLP迁移学习的进展；其次，深入探讨了一些重要的NLP迁移学习方法—NLP浅层迁移学习和NLP深度迁移学习；最后，涵盖NLP迁移学习领域中重要的子领域—以Transformer作为关键功能的深度迁移学习技术。读者可以动手将现有的先进模型应用于现实世界的应用程序，包括垃圾电子邮件分类器、IMDb电影评论情感分类器、自动事实检查器、问答系统和翻译系统等。
本书文字简洁、论述精辟、层次清晰，既适合拥有NLP基础的机器学习和数据科学相关的开发人员阅读，也适合作为高等院校计算机及相关专业的学生参考用书。

保罗·阿祖雷（Paul Azunre）拥有麻省理工学院计算机科学博士学位，曾担任美国国防部高级研究计划局（DARPA）的多个研究项目的主任研究员。由他创建的Algorine公司致力于推进AI/ML技术并让这些技术产生重大社会影响。Paul还参与创建了Ghana NLP开源社区。该社区专注于NLP技术的应用，尤其是对加纳语和其他低资源语言进行迁移学习。

第一部分 导论
第1章 迁移学习简介
1.1 NLP领域典型任务概述
1.2 理解人工智能背景下的NLP技术
1.2.1 人工智能
1.2.2 机器学习
1.2.3 自然语言处理
1.3 NLP发展简史
1.3.1 NLP简介
1.3.2 迁移学习的进展
1.4 计算机视觉中的迁移学习
1.4.1 概述
1.4.2 ImageNet预训练模型
1.4.3 ImageNet预训练模型的微调
1.5 NLP迁移学习成为一个令人兴奋的研究课题的原因
小结
第2章 从头开始：数据预处理
2.1 垃圾电子邮件分类任务中示例数据的预处理
2.1.1 加载并检视Enron电子邮件语料库
2.1.2 加载并检视欺诈电子邮件数据集
2.1.3 将电子邮件文本转换为数值
2.2 电影评论情感分类任务中示例数据的预处理
2.3 广义线性模型
2.3.1 逻辑斯谛回归
2.3.2 支持向量机
小结
第3章 从头开始：基准测试和优化
3.1 基于决策树的模型
3.1.1 随机森林
3.1.2 梯度提升机
3.2 神经网络模型
3.2.1 语言模型嵌入
3.2.2 BERT模型简介
3.3 效果优化
3.3.1 手动超参调优
3.3.2 系统化超参调优
小结
第二部分 基于循环神经网络的浅层迁移学习和深度迁移学习
第4章 NLP浅层迁移学习
4.1 基于预训练词嵌入的半监督学习
4.2 基于高级表示的半监督学习
4.3 多任务学习
4.3.1 问题的提出以及浅层神经网络单任务基线
4.3.2 双任务实验
4.4 领域适配
小结
第5章 基于循环神经网络的深度迁移学习实验的数据预处理
5.1 表格分类数据的预处理
5.1.1 获取并检视表格数据
5.1.2 预处理表格数据
5.1.3 对预处理数据进行数字编码
5.2 预处理示例数据的事实核查
5.2.1 特殊问题考量
5.2.2 加载并检视事实核查数据
小结
第6章 基于循环神经网络的NLP深度迁移学习
6.1 SIMOn
6.1.1 通用神经网络结构概述
6.1.2 表格数据建模
6.1.3 SIMOn在表格数据分类中的应用
6.2 ELMo
6.2.1 ELMo双向语言建模
6.2.2 ELMo在虚假新闻检测任务中的应用
6.3 ULMFiT
6.3.1 以语言模型为目标任务的微调
6.3.2 以分类为目标任务的微调
小结
第三部分 基于Transformer的深度迁移学习以及适配策略
第7章 基于Transformer的深度迁移学习和GPT
7.1 Transformer
7.1.1 transformers库简介与注意力可视化
7.1.2 自注意力
7.1.3 残差连接、编码器-解码器注意力和位置编码
7.1.4 预训练的编码器-解码器在机器翻译任务中的应用
7.2 GPT
7.2.1 模型结构概述
7.2.2 Transformer pipeline及其在文本生成任务中的应用
7.2.3 聊天机器人任务中的应用
小结
第8章 基于BERT和mBERT的NLP深度迁移学习
8.1 BERT
8.1.1 BERT模型结构
8.1.2 在自动问答任务中的应用
8.1.3 在空白填写和后续句预测任务中的应用
8.2 mBERT的跨语言学习
8.2.1 JW300数据集概述
8.2.2 用预训练分词器将mBERT迁移到Twi单语言数据
8.2.3 根据Twi单语言数据从头训练mBERT模型和分词器
小结
第9章 ULMFiT与知识蒸馏的适配策略
9.1 逐步解冻和差别式微调
9.1.1 预训练语言模型微调
9.1.2 以分类为目标任务的微调
9.2 知识蒸馏
小结
第10章 ALBERT、适配器和多任务适配策略
10.1 嵌入因子分解与跨层参数共享
10.2 多任务微调
10.2.1 GLUE数据集
10.2.2 GLUE单任务微调
10.2.3 序列化适配
10.3 适配器
小结
第11章 总结
11.1 关键概念概述
11.2 其他新兴研究趋势
11.2.1 RoBERTa
11.2.2 GPT-
11.2.3 XLNet
11.2.4 BigBird
11.2.5 Longformer
11.2.6 Reformer
11.2.7 T
11.2.8 BART
11.2.9 XLM
11.2.10 TAPAS
11.3 NLP迁移学习的发展方向
11.4 伦理和环境因素
11.5 最新进展
11.5.1 Kaggle和Zindi比赛
11.5.2 arXiv
11.5.3 新闻与社交媒体
11.6 写在最后
附录A Kaggle入门
A.1 通过Kaggle Kernel免费使用GPU
A.2 竞赛、讨论区和博客
附录B 深度学习的基础工具简介
B.1 随机梯度下降
B.2 TensorFlow
B.3 PyTorch
B.4 Keras、fast.ai库和Hugging Face的transformers库