人工智能技术辅助下的教育改革已在世界各国受到越来越多的关注，加快推进教育数字转型和智能升级成为我国教育数字化战略行动。本书致力于在课堂学习行为的视觉感知与分析这一精细领域利用基于深度学习的计算机视觉技术推动教育智能改革，为实现个性化教学、提升教学质量、促进教育公平提供一系列方法和策略。本书系统地分析了计算机视觉技术与课堂学习行为相结合这一必然发展趋势，从数据集构建、关键技术的模型方法提出、精准的应用实施三个方面展开了细致的论述。其中涉及的计算机任务主要包括面部表情识别、视线估计、头部姿态估计及人体姿态估计，课题组通过总结过去十余年在这些方面的实践经验，以期为国内探索实现规模化教育与个性化培养的有机结合提供一定的借鉴和指导。
本书可供教育信息化科研人员或工作者参阅，也可以为计算机视觉相关专业的本科生、研究生提供该领域实际应用方向上的指导与借鉴。

刘海，博士，华中师范大学人工智能教育学部副教授，长期从事自我调节学习、机器学习、数据挖掘、智能信息处理、计算机视觉等方面的研究。近些年来，在国家重点研发计划、国家自然科学基金等项目的支持下，对上述领域进行了系统而广泛的研究，在理论研究和应用扩展方面取得了大量的成果。目前已在国内外知名期刊和学术会议上发表了学术论文60余篇，其中以第一作者（通讯作者）发表SCI、SSCI、CSSCI期刊论文40余篇，含中科院一区IEEE trans系列20余篇，12篇入选ESl高被引论文；申请国家发明专利40余项，授权10余项。曾荣获湖北省科学技术进步一等奖（2020）、教育部科技进步奖一等奖（2019）。

第一部分 背景与理论
第1章 背景与意义
1.1 国家重视课堂学习行为分析的引领作用
1.1.1 课堂学习行为分析是落实个性化培养的重要举措
1.1.2 课堂学习行为分析是加快教育新基建的重要举措
1.1.3 课堂学习行为分析是促进教育“以人为本”发展的重要举措
1.1.4 其他国家在“人工智能+教育”领域的行动计划
1.2 要解决的问题
1.3 国内外的研究现状
1.3.1 课堂学习行为的视觉感知
1.3.2 分析国内外的研究现状
1.4 视觉感知原理
1.4.1 计算机视觉驱动的行为感知基础
1.4.2 课堂学习行为的理解与认知
1.4.3 课堂学习行为的智能评测
1.5 总体研究框架
参考文献
第2章 学习者兴趣建模理论模型
2.1 兴趣概念的界定与分类
2.1.1 兴趣的概念界定
2.1.2 不同角度的分类
2.2 兴趣的获取方式与表示方法
2.2.1 兴趣的获取方式
2.2.2 兴趣的表示方法
2.3 学习者兴趣建模
2.3.1 学习者兴趣模型的概念框架
2.3.2 学习者兴趣模型的表示方法
2.4 学习者兴趣模型量化指标分析
2.4.1 课堂注意力量化指标
2.4.2 课堂参与度量化指标
2.4.3 学习情感的量化指标
2.5 学习者兴趣模型量化分析技术
2.5.1 兴趣量化指标的采集方法
2.5.2 单维度的兴趣指标量化技术
参考文献
第二部分 关键技术
第3章 课堂学习行为数据集构建
3.1 头部姿态的数据集
3.1.1 采集场景设计与布置
3.1.2 方案规划与数据采集
3.1.3 数据后处理及数据库设计
3.2 人体姿态的数据集
3.3 已有的数据集
3.3.1 面部表情图像数据集
3.3.2 视线估计数据集的介绍
3.3.3 头部姿态数据集的介绍
3.3.4 人体姿态数据集的介绍
3.4 参考鼠标轨迹数据的面部表情图像标注
3.4.1 摄像头和鼠标轨迹数据的采集与处理
3.4.2 标注方法的选择与数据标准的一致性检验
3.5 数据集建立小结
参考文献
第4章 面部表情识别方法
4.1 基础
4.1.1 人工神经网络
4.1.2 卷积神经网络
4.1.3 图卷积神经网络
4.1.4 标签分布学习技术
4.2 基于高斯先验分布的表情识别方法
4.2.1 情感标签分布设计
4.2.3 基于标签分布学习的表情识别模型构建
4.3 基于图卷积网络与K近邻图的面部表情识别
4.3.1 面部表情特性的挖掘
4.3.2 基于图卷积网络与K近邻图的情感标签分布构建
4.3.3 K近邻图的情感标签分布构建
4.3.4 情感标签分布建模与优化
4.4 建议及对未来的思考
参考文献
第5章 视线估计方法
5.1 基础
5.2 基于复合损失卷积神经网络的视线估计方法
5.3 基于头戴式设备的视线估计
5.3.1 校准数据的准备
5.3.2 HMD的自标定
5.3.3 3D的PoR估计
5.4 建议及对未来的思考
参考文献
第6章 头部姿态估计方法
6.1 基础
6.1.1 头部姿态低容忍性分析
6.1.2 精细化头部姿态标签设计
6.1.3 姿态表示差异性分析
6.1.4 基于矩阵费雪分布的旋转矩阵参数化
6.1.5 标签平滑正则化技术
6.2 各向异性的分布学习
6.2.1 头部姿态的两个观察及验证
6.2.2 各向异性的姿态分布模型构建
6.2.3 基于极大后验估计的损失函数推导
6.2.4 基于空间权重的网络架构
6.3 基于三元组架构的头部姿态估计
6.3.1 三元组网络架构
6.3.2 头部姿态精细化估计
6.3.3 基于三元组架构的精细化头部姿态估计模型
6.3.4 损失函数和模型优化
6.4 基于矩阵费雪分布的头部姿态估计方法
6.4.1 矩阵费雪分布模块构建
6.4.2 模型架构设计
6.4.3 损失函数和模型优化
6.5 建议及对未来的思考
参考文献
第7章 人体姿态估计方法
7.1 基础
7.1.1 基于深度学习的人体姿态估计方法介绍
7.1.2 目标检测
7.1.3 非极大值抑制
7.1.4 HRNet网络框架
7.1.5 姿态估计回归方式
7.2 基于骨骼线索感知的HPE模型构建
7.2.1 基于骨骼线索感知的高斯坐标编码
7.2.2 面向姿态估计的EHPE模型构建
7.3 基于像素表征学习的CHRNet网络设计
7.3.1 前背景权重组件
7.3.2 AF1-measure评估策略
7.3.3 CHRNet网络架构
7.4 建议及对未来的思考
参考文献
第三部分 应用与未来趋势
第8章 课堂学习行为的多模态融合
8.1 过程性的融合
8.1.1 多模态数据融合的层次
8.1.2 过程性融合的关键问题
8.2 决策