本书聚焦谷歌公司开发的BERT自然语言处理模型，由浅入深地介绍了BERT的工作原理、BERT的各种变体及其应用。本书呈现了大量示意图、代码和实例，详细解析了如何训练BERT模型，如何使用BERT模型执行自然语言推理任务、文本摘要任务、问答任务、命名实体识别任务等各种下游任务，以及如何将BERT模型应用于不同的语言。通读本书后，你不仅能够全面了解有关BERT的各种概念、术语和原理，还能够使用BERT模型及其变体执行各种自然语言处理任务。
本书面向希望利用BERT超强的理解能力来简化自然语言处理任务的专业人土，以及对自然语言处理和深度学习感兴趣的所有人士。

苏达哈尔桑·拉维昌迪兰（Sudharsan Ravichandiran）热爱开源社区的数据科学家，研究方向为深度学习和强化学习的实际应用，在自然语言处理和计算机视觉等领域都颇有建树，另著有《Python强化学习实战》。

第一部分 开始使用BERT
第1章 Transformer概览
1.1 Transformer简介
1.2 理解编码器
1.2.1 自注意力机制
1.2.2 多头注意力层
1.2.3 通过位置编码来学习位置
1.2.4 前馈网络层
1.2.5 叠加和归一组件
1.2.6 编码器总览
1.3 理解解码器
1.3.1 带掩码的多头注意力层
1.3.2 多头注意力层
1.3.3 前馈网络层
1.3.4 叠加和归一组件
1.3.5 线性层和softmax层
1.3.6 解码器总览
1.4 整合编码器和解码器
1.5 训练Transformer
1.6 小结
1.7 习题
1.8 深入阅读
第2章 了解BERT模型
2.1 BERT的基本理念
2.2 BERT的工作原理
2.3 BERT的配置
2.3.1 BERT-base
2.3.2 BERT-large
2.3.3 BERT的其他配置
2.4 BERT模型预训练
2.4.1 输入数据
2.4.2 预训练策略
2.4.3 预训练过程
2.5 子词词元化算法
2.5.1 字节对编码
2.5.2 字节级字节对编码
2.5.3 WordPiece
2.6 小结
2.7 习题
2.8 深入阅读
第3章 BERT实战
3.1 预训练的BERT模型
3.2 从预训练的BERT模型中提取嵌入
……
第二部分 探索BERT变体
第三部分 BERT模型的应用
习题参考答案