本书介绍自然语言处理的原理和方法及其代码实现，是一本着眼于自然语言处理教学实践的图书。
本书分为3个部分。第一部分介绍基础技术，包括文本规范化、文本表示、文本分类、文本聚类。第二部分介绍自然语言的序列建模，包括语言模型、序列到序列模型、预训练语言模型、序列标注。第三部分介绍自然语言的结构建模，包括成分句法分析、依存句法分析、语义分析、篇章分析。本书将自然语言处理的理论与实践相结合，提供所介绍方法的代码示例，能够帮助读者掌握理论知识并进行动手实践。
本书适合作为高校自然语言处理课程的教材，也可作为相关行业的研究人员和开发人员的参考资料。

屠可伟
上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学习等，主要研究将符号、统计和神经方法相结合用于语言结构的表示、学习与利用。发表论文100余篇，主要发表在ACL、EMNLP、AAAI等人工智能领域顶级会议。担任多个顶级会议程序委员会委员和领域主席。曾获ACL 2023杰出论文奖，以及SemEval 2022和 SemEval 2023最佳系统论文奖。

第1章 初探自然语言处理
1.1 自然语言处理是什么
1.2 自然语言处理的应用
1.3 自然语言处理的难点
1.4 自然语言处理的方法论
1.5 小结
第一部分 基础
第2章 文本规范化
2.1 分词
2.1.1 基于空格与标点符号的分词
2.1.2 基于正则表达式的分词
2.1.3 词间不含空格的语言的分词
2.1.4 基于子词的分词
2.2 词规范化
2.2.1 大小写折叠
2.2.2 词目还原
2.2.3 词干还原
2.3 分句
2.4 小结
第3章 文本表示
3.1 词的表示
3.2 稀疏向量表示
3.3 稠密向量表示
3.3.1 word2vec
3.3.2 上下文相关词嵌入
3.4 文档表示
3.4.1 词-文档共现矩阵
3.4.2 TF-IDF加权
3.4.3 文档的稠密向量表示
3.5 小结
第4章 文本分类
4.1 基于规则的文本分类
4.2 基于机器学习的文本分类
4.2.1 朴素贝叶斯
4.2.2 逻辑斯谛回归
4.3 分类结果评价
4.4 小结
第5章 文本聚类
5.1 k均值聚类算法
5.2 基于高斯混合模型的最大期望值算法
5.2.1 高斯混合模型
5.2.2 最大期望值算法
5.3 无监督朴素贝叶斯模型
5.4 主题模型
5.5 小结
第二部分 序列
第6章 语言模型
6.1 概述
6.2 n元语法模型
6.3 循环神经网络
6.3.1 循环神经网络
6.3.2 长短期记忆
6.3.3 多层双向循环神经网络
6.4 注意力机制多头注意力
6.5 Transformer模型
6.6 小结
第7章 序列到序列模型
7.1 基于神经网络的序列到序列模型
7.1.1 循环神经网络
7.1.2 注意力机制
7.1.3 Transformer
7.2 学习
7.3 解码
7.3.1 贪心解码
7.3.2 束搜索解码
7.3.3 其他解码问题与解决技巧
7.4 指针网络
7.5 序列到序列任务的延伸
7.6 小结
第8章 预训练语言模型
8.1 ELMo：基于语言模型的上下文相关词嵌入
8.2 BERT：基于Transformer的双向编码器表示
8.2.1 掩码语言模型
8.2.2 BERT模型
8.2.3 预训练
8.2.4 微调与提示
8.2.5 BERT代码演示
8.2.6 BERT模型扩展
8.3 GPT：基于Transformer的生成式预训练语言模型
8.3.1 GPT模型的历史
8.3.2 GPT-2训练演示
8.3.3 GPT的使用
8.4 基于编码器-解码器的预训练语言模型
8.5 基于HuggingFace的预训练语言模型使用
8.5.1 文本分类
8.5.2 文本生成
8.5.3 问答
8.5.4 文本摘要
8.6 小结
第9章 序列标注
9.1 序列标注任务
9.1.1 词性标注
9.1.2 中文分词
9.1.3 命名实体识别
9.1.4 语义角色标注
9.2 隐马尔可夫模型
9.2.1 模型
9.2.2 解码
9.2.3 输入序列的边际概率
9.2.4 单个标签的边际概率
9.2.5 监督学习
9.2.6 无监督学习
9.2.7 部分代码实现
9.3 条件随机场
9.3.1 模型
9.3.2 解码
9.3.3 监督学习
9.3.4 无监督学习
9.3.5 部分代码实现
9.4 神经序列标注模型
9.4.1 神经softmax
9.4.2 神经条件随机场
9.4.3 代码实现
9.5 小结
第三部分 结构
第10章 成分句法分析
10.1 成分结构
10.2 成分句法分析概述
10.2.1 歧义性与打分
10.2.2 解码
10.2.3 学习
10.2.4 评价指标
10.3 基于跨度的成分句法分析
10.3.1 打分
10.3.2 解码
10.3.3 学习
10.4 基于转移的成分句法分析
10.4.1 状态与转移
10.4.2 转移的打分
10.4.3 解码
10.4.4 学习
10.5 基于上下文无关文法的成分句法分析
10.5.1 上下文无关文法
10.5.2 解码和学习
10.6 小结
第11章 依存句法分析
11.1 依存结构
11.1.1 投射性
11.1.2 与成分结构的关系
11.2 依存句法分析概述
11.2.1 打分、解码和学习
11.2.2 评价指标
11.3 基于图的依存句法分析
11.3.1 打分
11.3.2 解码
11.3.3 Eisner算法
11.3.4 MST算法
11.3.5 高阶方法
11.3.6 监督学习
11.4 基于转移的依存句法分析
11.4.1 状态与转移
11.4.2 打分、解码与学习
11.5 小结
第12章 语义分析
12.1 显式和隐式的语义表示
12.2 词义表示
12.2.1 WordNet
12.2.2 词义消歧
12.3 语义表示