本书从机器学习的角度系统地介绍自然语言处理领域，包括由统计模型到深度学习模型，由生成模型到判别模型，由监督模型到无监督模型等，对于每个主题都选择了最具代表性的概念与算法，使得阅读及教学过程深入浅出、通俗易懂。本书的目标读者为计算机科学、人工智能或相关跨学科专业的高年级本科生及研究生，自然语言处理工程师也可将本书作为理论参考书籍，读者需要具备一定的线性代数、微积分、概率论及算法基础。

张岳，西湖大学教授。主要研究领域为自然语言处理、文本挖掘及相关的机器学习方法。研究成果包括机器学习引导搜索的结构预测算法、多任务联合模型、文本表示和图神经网络、自然语言处理中的常识、逻辑推理以及泛化问题，因果机制引导的自然语言处理等。担任国内外顶级会议CCL 2020、EMNLP 2022程序委员会共同主席。担任Transactions for ACL期刊执行编辑，以及四个Transaction期刊副主编。获多个国际会议最佳论文奖。

中文版序
译者序
前言
符号表
第一部分 基础知识
第1章 绪论
1.1 自然语言处理的概念
1.2 自然语言处理任务
1.2.1 基础任务
1.2.2 信息抽取任务
1.2.3 应用
1.2.4 小结
1.3 机器学习视角下的自然语言处理任务
总结
注释
习题
参考文献
第2章 相对频率
2.1 概率建模
2.1.1 最大似然估计
2.1.2 词概率建模
2.1.3 模型与概率分布
2.2 n元语言模型
2.2.1 一元语言模型
2.2.2 二元语言模型
2.2.3 三元及高阶语言模型
2.2.4 生成式模型
2.3 朴素贝叶斯文本分类器
2.3.1 朴素贝叶斯文本分类
2.3.2 文本分类器的评估
2.3.3 边缘概率的计算
2.3.4 特征
总结
注释
习题
参考文献
第3章 特征向量
3.1 文本在向量空间中的表示
3.1.1 聚类
3.1.2 k均值聚类
3.1.3 分类
3.1.4 支持向量机
3.1.5 感知机
3.2 多分类
3.2.1 定义基于输出的特征
3.2.2 多分类支持向量机
3.2.3 多分类感知机
3.3 线性判别式模型
3.3.1 判别式模型及其特征
3.3.2 线性模型的点积形式
3.4 向量空间与模型训练
3.4.1 可分性与泛化性
3.4.2 处理非线性可分数据
总结
注释
习题
参考文献
第4章 判别式线性分类器
4.1 对数线性模型
4.1.1 二分类对数线性模型的训练
4.1.2 多分类对数线性模型的训练
4.1.3 利用对数线性模型进行分类
4.2 基于随机梯度下降法训练支持向量机
4.2.1 二分类支持向量机的训练
4.2.2 多分类支持向量机的训练
4.2.3 感知机训练的目标函数
4.3 广义线性模型
4.3.1 统一在线训练
4.3.2 损失函数
4.3.3 正则化
4.4 模型融合
4.4.1 模型性能比较
4.4.2 模型集成
4.4.3 半监督学习
总结
注释
习题
参考文献
第5章 信息论观点
5.1 最大熵原理
5.1.1 朴素最大熵模型
5.1.2 条件熵
5.1.3 最大熵模型与训练数据
5.2 KL散度与交叉熵
5.2.1 交叉熵和最大似然估计
5.2.2 模型困惑度
5.3 互信息
5.3.1 点互信息
5.3.2 基于点互信息的文本挖掘
5.3.3 基于点互信息的特征选取
5.3.4 词的点互信息与向量表示
总结
注释
习题
参考文献
第6章 隐变量
6.1 期望最大算法
6.1.1 k均值算法
6.1.2 期望最大算法介绍
6.2 基于期望最大算法的隐变量模型
6.2.1 无监督朴素贝叶斯模型
6.2.2 IBM模型1
6.2.3 概率潜在语义分析
6.2.4 生成模型的相对优势
6.3 期望最大算法的理论基础
6.3.1 期望最大与KL散度
6.3.2 基于数值优化的期望最大算法推导
总结
注释
习题
参考文献
第二部分 结构研究
第7章 生成式序列标注任务
7.1 序列标注
7.2 隐马尔可夫模型
7.2.1 隐马尔可夫模型的训练
7.2.2 解码
7.3 计算边缘概率
7.3.1 前向算法
7.3.2 后向算法
7.3.3 前向-后向算法
7.3.4 二阶隐马尔可夫模型的前向-后向算法
7.4 基于期望最大算法的无监督隐马尔可夫模型训练
总结
注释
习题
参考文献
第8章 判别式序列标注任务
8.1 局部训练的判别式序列标注模型
8.2 标注偏置问题
8.3 条件随机场
8.3.1 全局特征向量
8.3.2 解码
8.3.3 边缘概率计算
8.3.4 训练
8.4 结构化感知机
8.5 结构化支持向量机
总结
注释
习题
参考文献
第9章 序列分割
9.1 基于序列标注的序列分割任务
9.1.1 面向分词的序列标注特征
9.1.2 面向句法组块分析的序列标注特征
9.1.3 面向命名实体识别的序列标注特征
9.1.4 序列分割输出的评价方式
9.2 面向序列分割的判别式模型
9.2.1 分词中的词级别特征
9.2.2 基于动态规划的精确搜索解码
9.2.3 半马尔可夫条件随机场
9.2.4 最大间隔模型
9.3 结构化感知机与柱搜索
9.3.1 放宽特征局部约束
9.3.2 柱搜索解码
总结
注释
习题
参考文献
第10章 树结构预测
10.1 生成式成分句法分析
10.1.1 概率上下文无关文法
10.1.2 CKY解码
10.1.3 成分句法解析器的性能评估
10.1.4 边缘概率的计算
10.2 成