自然语言处理被誉为“人工智能皇冠上的明珠”。深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于预训练模型的方法，已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练模型的自然语言处理技术。本书包括基础知识、预训练词向量和预训练模型三大部分：基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具；预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用；预训练模型部分介绍几种典型的预训练语言模型及应用，以及预训练模型的最新进展。除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch代码实现，不仅能让读者对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。
本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者，以及希望深入研究自然语言处理算法的计算机工程师阅读，也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。

车万翔，博士，哈尔滨工业大学教授，博士生导师，斯坦福大学访问学者。研究方向为自然语言处理。在CoNLL、SANICL、SemEval等国际评测获得过冠军。任ACL、DLING、EMNLP等国际会议领域主席。负责研发的语言技术平台(LTP)已被600余家单位共享，并授权给百度、腾讯、华为等公司使用。曾获黑龙江科技进步一等奖、技术发明二等奖；汉王青年创新奖一等奖；钱伟长中文信息处理科学奖等奖项。2017年主讲的“Python语言程序设计”课程获国家精品在线开放课程称号。

推荐序
推荐语
前言
数学符号
第1章 绪论
1.1 自然语言处理的概念
1.2 自然语言处理的难点
1.2.1 抽象性
1.2.2 组合性
1.2.3 歧义性
1.2.4 进化性
1.2.5 非规范性
1.2.6 主观性
1.2.7 知识性
1.2.8 难移植性
1.3 自然语言处理任务体系
1.3.1 任务层级
1.3.2 任务类别
1.3.3 研究对象与层次
1.4 自然语言处理技术发展历史
第2章 自然语言处理基础
2.1 文本的表示
2.1.1 词的独热表示
2.1.2 词的分布式表示
2.1.3 词嵌入表示
2.1.4 文本的词袋表示
2.2 自然语言处理任务
2.2.1 语言模型
2.2.2 自然语言处理基础任务
2.2.3 自然语言处理应用任务
2.3 基本问题
2.3.1 文本分类问题
2.3.2 结构预测问题
2.3.3 序列到序列问题
2.4 评价指标
2.5 小结
第3章 基础工具集与常用数据集
3.1 NLTK工具集
3.1.1 常用语料库和词典资源
3.1.2 常用自然语言处理工具集
3.2 LTP工具集
3.2.1 中文分词
3.2.2 其他中文自然语言处理功能
3.3 PyTorch基础
3.3.1 张量的基本概念
3.3.2 张量的基本运算
3.3.3 自动微分
3.3.4 调整张量形状
3.3.5 广播机制
3.3.6 索引与切片
3.3.7 降维与升维
3.4 大规模预训练数据
3.4.1 维基百科数据
3.4.2 原始数据的获取
3.4.3 语料处理方法
3.4.4 Common Crawl数据
3.5 更多数据集
3.6 小结
第4章 自然语言处理中的神经网络基础
4.1 多层感知器模型
4.1.1 感知器
4.1.2 线性回归
4.1.3 Logistic回归
4.1.4 Softmax回归
4.1.5 多层感知器
4.1.6 模型实现
4.2 卷积神经网络
4.2.1 模型结构
4.2.2 模型实现
4.3 循环神经网络
4.3.1 模型结构
4.3.2 长短时记忆网络
4.3.3 模型实现
4.3.4 基于循环神经网络的序列到序列模型
4.4 注意力模型
4.4.1 注意力机制
4.4.2 自注意力模型
4.4.3 Transformer
4.4.4 基于Transformer的序列到序列模型
4.4.5 Transformer模型的优缺点
4.4.6 模型实现
4.5 神经网络模型的训练
4.5.1 损失函数
4.5.2 梯度下降
4.6 情感分类实战
4.6.1 词表映射
4.6.2 词向量层
4.6.3 融入词向量层的多层感知器
4.6.4 数据处理
4.6.5 多层感知器模型的训练与测试
4.6.6 基于卷积神经网络的情感分类
4.6.7 基于循环神经网络的情感分类
4.6.8 基于Transformer的情感分类
4.7 词性标注实战
4.7.1 基于前馈神经网络的词性标注
4.7.2 基于循环神经网络的词性标注
4.7.3 基于Transformer的词性标注
4.8 小结
第5章 静态词向量预训练模型
5.1 神经网络语言模型
5.1.1 预训练任务
5.1.2 模型实现
5.2 Word2vec词向量
5.2.1 概述
5.2.2 负采样
5.2.3 模型实现
5.3 GloVe词向量
5.3.1 概述
5.3.2 预训练任务
5.3.3 参数估计
5.3.4 模型实现
5.4 评价与应用
5.4.1 词义相关性
5.4.2 类比性
5.4.3 应用
5.5 小结
第6章 动态词向量预训练模型
6.1 词向量——从静态到动态
6.2 基于语言模型的动态词向量预训练
6.2.1 双向语言模型
6.2.2 ELMo词向量
6.2.3 模型实现
6.2.4 应用与评价
6.3 小结
第7章 预训练语言模型
7.1 概述
7.1.1 大数据
7.1.2 大模型
7.1.3 大算力
7.2 GPT
7.2.1 无监督预训练
7.2.2 有监督下游任务精调
7.2.3 适配不同的下游任务
7.3 BERT
7.3.1 整体结构
7.3.2 输入表示
7.3.3 基本预训练任务
7.3.4 更多预训练任务
7.3.5 模型对比
7.4 预训练语言模型的应用
7.4.1 概述
7.4.2 单句文本分类
7.4.3 句对文本分类
7.4.4 阅读理解
7.4.5 序列标注
7.5 深入理解BERT
7.5.1 概述
7.5.2 自注意力可视化分析
7.5.3 探针实验
7.6 小结
第8章 预训练语言模型进阶
8.1 模型优化
8.1.1 XLNet
8.1.2 RoBERTa
8.1.3 ALBERT
8.1.4 ELECTRA
8.1.5 MacBERT
8.1.6 模型对比
8.2 长文本处理
8.2.1 概述
8.2.2 Transformer-XL
8.2.3 Reformer
8.2.4 Longformer
8.2.5 BigBird
8.2.6 模型对比
8.3 模型蒸馏与压缩
8.3.1 概述
8.3.2 DistilBERT
8.3.3 TinyBERT
8.3.4 MobileBERT
8.3.5 TextBrewer
8.4 生成模型
8.4.1 BAR