本书用简单、通俗、易懂的语言对BERT相关的自然语言处理技术进行描述，从原理、架构、实现等多维度解读BERT 模型，并展示不同层面的实战案例，通过将理论和实践相结合， 使读者能够在对模型充分理解的基础上，运用模型解决实际任务。本书适合于自然语言处理初学者以及语言类大学的信息科学专业学生，不仅可作为拓展阅读的材料，还可作为立志从事自然语言处理方向研究人员的入门参考书。

第一篇 自然语言处理基础
第1章 自然语言处理
1.1 自然语言处理的起源
1.2 自然语言处理的发展
1.3 自然语言处理的应用领域
1.3.1 机器翻译
1.3.2 智能问答
1.3.3 文本信息检索和提取
1.3.4 情感分析
1.4 自然语言处理领域的难点问题
1.4.1 单词的边界界定
1.4.2 词义的消歧
1.4.3 句法的模糊性
本章小结
思考题
第2章 自然语言处理的预备知识
2.1 数学知识
2.1.1 线性代数
2.1.2 微积分
2.1.3 概率论
2.2 计算机信息处理基础知识
自然语言处理之BERT模型算法、架构和案例实战
2.2.1 字符的编码和表示
2.2.2 语言和算法
2.2.3 框架模型简介
2.3 基础任务工具包
2.3.1 基础任务工具包简介
2.3.2 Python环境的搭建
2.3.31 0个Python字符串处理技巧
2.4 Python中常用到的自然语言处理库
2.4.1 NLTK
2.4.2 TextBlob
2.4.3 Spacy
2.4.4 Gensim
2.4.5 StanfordCoreNLP
2.5 NLP的深度学习框架
2.5.1 深度学习概述
2.5.2 NLP的深度学习：ANN、RNN和LSTM
2.5.3 利用PyTorch实现情感文本分类
本章小结
思考题
第3章 文本的表示技术
3.1 语言模型
3.1.1 自然语言处理的n元模型
3.1.2 自然语言处理的序列模型
3.2 单词的表示
3.2.1 独热向量
3.2.2 TF表示
3.2.3 TF-IDF表示
3.2.4 计算图表示
3.3 改进后的词表征
3.3.1 词嵌入
3.3.2 word2vec模型
3.3.3 GloVe
3.4 句法分析
3.4.1 句法分析的分类
3.4.2 PCFG介绍
3.4.3 CKY算法
本章小结
思考题
第二篇 自然语言处理中的深度学习算法
第4章 自然语言处理与深度学习
4.1 神经网络概述
4.1.1 什么是神经网络
4.1.2 神经网络的架构
4.1.3 训练神经网络
4.1.4 深度神经网络
4.2 基于卷积神经网络CNN的自然语言处理模型
4.2.1 CNN概述
4.2.2 CNN架构
4.2.3 CNN的优缺点
4.2.4 CNN在自然语言处理领域的应用
4.3 基于循环神经网络RNN的自然语言处理模型
4.3.1 RNN概述
4.3.2 RNN架构
4.3.3 RNN的优缺点
4.3.4 RNN在自然语言处理领域的应用
4.4 基于LSTM网络的自然语言处理模型
4.4.1 LSTM概述
4.4.2 LSTM架构
4.4.3 LSTM的优缺点
4.4.4 LSTM在自然语言处理领域的应用
4.5 基于BERT的自然语言处理模型
4.5.1 BERT概述
4.5.2 BERT的优缺点
本章小结
思考题
第5章 BERT模型详解
5.1 Seq2Seq架构
5.1.1 编码器
5.1.2 解码器Decoder
5.2 Attention机制
5.3 Transformer模型
5.3.1 Transformer的模型架构
5.3.2 Self-attention自注意力机制
5.3.3 位置编码PositionalEncoding
5.3.4 Transformer模型的训练
5.4 BERT：深双向Transformers预训练语言理解模型
5.4.1 概述
5.4.2 BERT
5.4.3 实验
5.4.4 深入研究
5.4.5 BERT、ELMO和OpenAIGPT的比较
5.5 BERT的变种
5.5.1 ALBERT：语言表示自监督学习的LITE版本BERT
5.5.2 RoBERTa优化后鲁棒的BERT预训练模型
5.5.3 KG-BERT知识图BERT
5.5.4 MobileBERT：适用于资源受限设备的紧凑型与任务无关的BERT
本章小结
思考题
第三篇 实战案例
第6章 实战案例一：利用BERT完成情感分析
6.1 HugginFace介绍
6.1.1 Transformer编码解码结构背景和由来
6.1.2 Transformers的组件和模型架构
6.1.3 如何到HugginFace仓库下载模型
6.1.4 如何使用模型进行训练
6.2 BERT调试环境的搭建
6.2.1 Eclipse开发环境的安装(WIN1064位系统)
6.2.2 加载Python解释器
6.2.3 安装TensorFlow框架
6.3 BERT源码详解
6.4 利用BERT实现情感分析任务实例
6.4.1 任务概述
6.4.2 数据集的读取和处理
6.4.3 训练BERT中文情感分类任务
本章小结
思考题
第7章 实战案例二：利用BERT做NER任务
7.1 采用BERT的无监督NER场景描述
7.2 采用BERT的无监督NER原理
7.3 执行无监督NER的步骤
7.4 评价结果
7.5 方法局限性和挑战
7.6 拓展
7.7 补充说明
本章小结
思考题
第四篇 结语和展望
第8章 自然语言处理领域热门研究方向及结语
8.1 自然语言处理领域热门研究方向
8.1.1 多模态学习
8.1.2 依图的ConvBert
8.1.3 BERT与MySQL的结合
8.1.4 图神经网络
8.1.5 特殊专业领域的应用