本书在全面概述预训练语言模型演进过程并对BERTology模型详尽综述的基础上，将深度学习预训练模型理论和金融行业实践相结合，介绍了深度学习预训练模型在人工智能产业、金融行业、金融科技领域的实战项目案例，专注于金融文本情绪分类典型应用场景，揭示出特定领域预训练模型潜在的一般规律。全书共分7章，分别为：预训练模型与金融文本情绪分类任务、预训练语言模型关键技术、面向中文金融文本情绪分类的预训练模型对比、FinWoBERT：中文金融领域增强预训练模型、GAN-FinWoBERT：对抗训练的中文金融预训练模型、FinWoBERT+ConvLSTM：基于投资者情绪权重的科创50指数预测、总结与展望，每章内容随项目实践的深入层层递进、逐步展开。本书适合自然语言处理、金融科技领域的研究人员和技术人员，高等学校或培训机构教师和学生以及有意了解相关领域的学习者和爱好者阅读。

康明，蒙纳士大学（Monash University）、中国社会科学院大学博士，北京大学金融学专业经济学硕士，中国人民大学概率论与数理统计专业理学硕士、通信工程专业工学学士，计算机技术与软件高级工程师、统计师、经济师，具备基金、证券、保险从业资格，拥有计算机科学与信息技术、数学（统计学）以及经济学（金融学）交叉学科背景，是兼具科技创新、金融市场和医学信息综合素质能力的复合型、应用型专业技术人员。在计算机、统计学、经济学的核心期刊及国际会议发表论文数篇。目前从事金融和医疗领域人工智能、区块链、大数据的科研和研发工作。

第1章 预训练模型与金融文本情绪分类任务
1.1 金融文本情绪分类任务的挑战
1.2 发展现状与任务意义
1.2.1 预训练模型发展现状
1.2.2 金融文本情绪分类任务意义
1.3 情绪分类
1.3.1 文本情绪分类
1.3.2 金融文本情绪分类
1.3.3 基于非预训练模型情绪分类的证券市场分析
1.4 预训练语言模型
1.4.1 预训练语言模型的演进
1.4.2 基于BERTology扩展的预训练模型
1.5 基于预训练模型的金融文本情绪分类任务
1.5.1 金融文本情绪分类预训练模型
1.5.2 基于预训练模型情绪分类的证券市场分析
第2章 预训练语言模型关键技术
2.1 预训练方法
2.2 上下文感知的语言表征学习
2.3 高效的特征提取器
2.3.1 神经注意力机制
2.3.2 序列到序列的注意力模型
2.3.3 变换器模型
2.3.4 “X-former”改进模型
2.4 自监督学习
2.5 迁移学习技巧方法
2.6 BERT预训练语言模型
小结
第3章 面向中文金融文本情绪分类的预训练模型对比
3.1 模型对比目的
3.2 项目技术原理
3.3 对比实现方法
3.4 标准流程步骤
3.5 自建（评测）标注语料库
3.6 数据集划分
3.7 描述统计分析
3.7.1 语料库统计量描述
3.7.2 训练集和测试集统计量描述
3.7.3 统计分析
3.8 对比模型
3.9 模型实现
3.10 运行环境
3.11 模型加载
3.12 微调策略
3.12.1 情绪分类任务微调
3.12.2 分类器超参数调试
3.13 数据预处理
3.13.1 数据读取、转换和清洗
3.13.2 分词、填充和其他
3.14 评估指标
3.14.1 混淆矩阵
3.14.2 准确度、精确度、召回度和F1分数
3.14.3 损失值
3.15 模型评测
3.16 输出过程
3.17 结果汇总
3.18 模型对比项目结论
小结
第4章 FinWoBERT：中文金融领域增强预训练模型
4.1 领域增强目的
4.2 领域增强原理
4.3 领域增强实现方法
4.4 领域增强操作步骤
4.5 自建（预训练）未标注词库
4.6 自建（预训练）未标注语料库
4.7 描述统计分析
4.7.1 未标注词库统计量描述
4.7.2 未标注语料库统计量描述
4.7.3 未标注语料库与标注语料库的TF-IDF
4.7.4 统计分析
4.8 定义FinWoBERT模型
4.9 建立FinWoBERT模型
4.10 训练FinWoBERT模型
4.11 领域后训练和领域微调策略
4.12 评估FinWoBERT模型
4.13 评测结果汇总
4.14 领域增强项目结论
小结
第5章 GAN-FinWoBERT:对抗训练的中文金融预训练模型
5.1 对抗训练目的
5.2 对抗训练原理
5.3 对抗训练实现方法
5.4 定义GAN-FinWoBERT模型
5.5 建立GAN-FinWoBERT模型
5.6 训练GAN-FinWoBERT模型
5.7 对抗训练项目结论
小结
第6章 FinWoBERT+ConvLSTM：基于投资者情绪权重的科创50指数预测
6.1 预测实战设计
6.2 数据准备
6.2.1 行情数据集
6.2.2 评论数据集
6.3 定义预测模型
6.4 情绪权重
6.4.1 情绪分类
6.4.2 权重计算
6.5 预测模型评估指标
6.6 预测实验结果对比
6.7 预测实战项目结论
小结
第7章 总结与展望
7.1 我们学到了什么
7.2 未来的方向
附录A 语料库/词库样本示例
参考文献