本书系统介绍了众包学习的概念、应用领域、前沿课题和研究实践。在基础知识方面，本书介绍了众包的起源与发展、众包技术的研究方向，分析众包模式给机器学习带来的机遇与挑战。在前沿技术方面，本书详细阐述了众包标注真值推断与面向众包标注数据的预测模型学习等前沿研究课题。在研究实践方面，本书介绍了面向偏置标注的众包标签真值推断、基于机器学习模型的众包标签噪声处理、众包标签利用方法与集成学习模型、基于不确定性度量的众包主动学习等典型研究案例。
本书适合高等院校智能科学与技术、计算机科学与技术、控制科学与工程、网络空间安全等专业高年级本科生和研究生，以及相关领域研究人员和工程技术人员阅读与参考。

“新一代人工智能创新平台建设及其关键技术丛书”序
前言
部分通用符号和约定
第1章 众包概述
1.1 众包的起源与发展
1.1.1 从外包到众包
1.1.2 集众人之智慧
1.1.3 众包的形式
1.2 数据众包
1.2.1 数据众包的典型应用
1.2.2 数据众包的工作流程
1.2.3 数据众包面临的挑战性问题
1.3 众包系统
1.3.1 几个典型的众包系统
1.3.2 众包系统分类
1.3.3 众包系统性能评价
1.3.4 众包系统技术概览
1.4 本章小结
第2章 众包技术的研究方向
2.1 引言
2.2 众包质量控制
2.2.1 质量模型
2.2.2 数据质量
2.2.3 任务质量
2.2.4 参与者质量
2.2.5 质量评估
2.2.6 质量保证
2.3 众包任务设计
2.3.1 任务组合
2.3.2 任务分配
2.3.3 激励机制
2.4 成本和时延控制
2.4.1 问题规约
2.4.2 任务抽样
2.4.3 时延控制
2.5 本章小结
第3章 众包遇见机器学习
3.1 引言
3.2 从众包中获利
3.2.1 计算机视觉
3.2.2 信息检索
3.2.3 自然语言处理
3.2.4 机器学习
3.3 数据生产
3.3.1 数据标注
3.3.2 不确定数据
3.3.3 多样性数据
3.3.4 特殊性数据
3.4 混合智能系统
3.4.1 混合调度
3.4.2 混合人机通信
3.4.3 混合聚类
3.5 模型的调试与评估
3.5.1 管道组件调试
3.5.2 评估模型的可解释性
3.5.3 评估无监督模型
3.5.4 按需评价
3.6 本章小结
第4章 众包标注的真值推断
4.1 引言
4.2 真值推断的概念
4.2.1 众包标注
4.2.2 真值推断的定义
4.2.3 通用真值推断研究概览
4.2.4 面临的挑战
4.3 真值推断的概率模型及EM求解
4.3.1 真值推断的求解框架
4.3.2 ZenCrowd模型
4.3.3 Dawid&Skene模型
4.3.4 Raykar&Yu模型
4.3.5 GLAD模型
4.4 复杂标注的真值推断模型
4.4.1 OnlineWP模型
4.4.2 MCMLI模型
4.4.3 MCMLD模型
4.4.4 MCMLI-OC模型和MCMLD-OC模型
4.5 非EM求解的真值推断
4.5.1 CUBAM模型
4.5.2 Minimax熵模型
4.5.3 KOS模型
4.5.4 SFilter时序模型
4.5.5 BCC模型和cBCC模型
4.6 本章小结
第5章 面向众包标注数据的预测模型学习
5.1 引言
5.2 两阶段学习方案和直接学习方案
5.2.1 数据质量和学习模型质量
5.2.2 两阶段学习方案
5.2.3 直接学习方案
5.3 众包监督学习
5.3.1 Raykar&Yu学习模型
5.3.2 个人分类器模型
5.3.3 聚类个人分类器模型
5.3.4 Bi多维度模型
5.4 众包主动学习
5.4.1 主动学习概述
5.4.2 样本选择和工作者选择
5.4.3 成本约束的Proactive学习
5.4.4 STAL学习
5.4.5 Self-taught模型
5.5 其他众包学习范式
5.5.1 众包学习中的知识迁移
5.5.2 众包深度学习
5.6 本章小结
第6章 众包学习数据集与工具
6.1 引言
6.2 众包学习数据集
6.2.1 情感判断
6.2.2 相关性评估
6.2.3 图像分类
6.2.4 自然语言处理
6.2.5 事实评估
6.3 众包学习实验工具
6.3.1 SQUARE
6.3.2 BATC
6.3.3 CEKA
6.3.4 实验工具研发挑战
6.4 性能评价指标
6.4.1 二分类问题的评价指标
6.4.2 ROC曲线与AUC
6.4.3 多分类问题的评价指标
6.4.4 回归的性能指标
6.5 本章小结
第7章 面向偏置标注的众包标签真值推断
7.1 引言
7.2 偏置标注问题
7.2.1 二分类偏置标注问题定义
7.2.2 真实数据集中的偏置标注现象
7.2.3 偏置标注对真值推断的影响
7.3 自动阈值估计推断算法
7.3.1 案例研究
7.3.2 正标签频率阈值算法
7.3.3 阈值估计算法
7.3.4 实验设置
7.3.5 实验结果与分析
7.4 基于聚类的多分类真值推断
7.4.1 动机
7.4.2 原理和特征生成
7.4.3 GTIC算法
7.4.4 实验数据集与设置
7.4.5 实验结果与分析
7.5 本章小结
第8章 基于机器学习模型的众包标签噪声处理
8.1 引言
8.2 传统机器学习的噪声处理方法
8.2.1 分类过滤算法
8.2.2 标签打磨纠正算法
8.2.3 自训练误标纠正算法
8.2.4 基于聚类的误标纠正算法
8.2.5 众包数据集实验结果与分析
8.3 基于监督预测模型的众包标签噪声处理
8.3.1 总体技术框架
8.3.2 自适应投票噪声纠正算法
8.3.3 模拟众包标注数据集
8.3.4 标签噪声识别的性能
8.3.5 标签噪声纠正的性能
8.3.6 真实众包数据集实验结果与分析
8.4 基于双层聚类分析的众包