本书以基本概念、理论原理为主，以行业应用案例为辅，介绍空间计算中的交互设计、艺术设计、计算机视觉技术、AR/VR 开发框架、跨平台应用开发技术、机器学习与数据可视化、人工智能等领域的知识图谱，并展示了空间计算在医疗保健、体育娱乐、教育培训等行业的实际应用案例。本书提供了对空间计算的庞大知识体系的广阔概览。本书适合那些在技术开发、艺术设计、产品策划方面具有一定经验的读者，可作为他们入门空间计算领域的指引之书 ；也适合那些在空间计算领域已有一定实践经验的从业者，作为梳理知识体系与开拓创新思路之用。

艾琳·潘希利南（Erin Pangilinan），是美国旧金山大学（USF，University of San Francisco）数据研究所的深度学习项目研究员。她是美国硅谷本地人，毕业于加州大学伯克利分校。她还是一位计算设计师、混合软件工程师和创业顾问。作为本文集的主编和撰稿人，她很初构思了这个项目，并撰写了关于数据和机器学习可视化设计与开发的章节。2017年，她被选为美国旧金山大学（USF）数据研究所的深度学习项目研究员。2018年，她被选为Oculus Launch Pad的一名研究员。自2015年以来，她参与创建并扩大了两个多元化的、包容性的，且专注于教育和职业发展的非营利组织：为女性及弱势群体服务的ARVR学院，以及为菲裔美国人服务的STEAM（Science Technology Engineering Arts in Math）FASTER。此前，在美国商务部前副部长、国会议员Ro Khanna以及Tech For Obama的创始人Steve Spinner正式竞选时，她曾为该竞选团队中的工作人员。你可以通过Twitter@erinjerri或者在线网站erinjerri.com找到她。

序言xv
前言xvii
部分跨越数字和现实的设计与艺术
章人类与计算机的交互3
常用术语3
概述4
历代的人机交互模态：20世纪之前4
历代的人机交互模态：第二次世界大战期间6
历代的人机交互模态：第二次世界大战之后7
历代的人机交互模态：个人计算机崛起的时代10
历代的人机交互模态：计算机微型化的时代11
为何要回顾这些历史13
常见的HCI模式13
新的人机交互模态18
空间计算设备的人机交互模态现状19
沉浸式计算系统当前所用的控制器19
身体追踪技术21
关于手追踪和手势识别的注记22
下一代语音输入、手势输入和硬件输入22
第2章为感官而设计，不要为设备而设计26
展望未来26
感知技术概览27
我们为谁打造这样的未来29
女性在AI中扮演的角色32
感官设计33
感官设计概述33
五项感官设计原则35
1.直觉体验是多感官的35
2.3D将会触手可及36
3.设计要自然而符合物理原理37
4.设计无法完全可控37
5.释放空间协作的力量38
Adobe的AR故事38
结语39
第2部分扩展现实如何改变数字艺术
第3章VR艺术43
一种更自然的3D艺术创作方式43
VR动画49
第4章3D艺术优化52
概述52
建议53
理想的解决方案54
拓扑结构55
烘焙58
绘制调用63
使用VR工具进行3D艺术创作63
使用现成的3D模型与重新制作64
结语64
第3部分硬件、SLAM、追踪
第5章计算机视觉如何让AR成为可能67
我们是谁67
AR简史68
为何以及如何选择AR平台70
作为开发者，我应该选择哪个平台，为何要如此选择70
AR效果具有不确定性70
软硬件集成72
光学校准73
惯性校准74
追踪技术的未来展望76
AR计算机视觉技术的未来展望78
地图80
多人AR的工作原理84
最具挑战性的部分85
重定位的工作原理86
AR中重定位的研究现状87
重定位问题会有消费级的解决方案吗88
难道谷歌公司或苹果公司无法给出消费级的解决方案吗89
重定位不等于多人AR90
当前App的重定位实际是怎么做的91
AR平台94
苹果的ARKit94
解密一些谜团95
ARCore是不是轻量级的Tango96
应该开始基于ARCore构建AR应用吗98
Tango、HoloLens、Vuforia以及其他AR平台98
其他开发建议99
光照99
多人AR——到底难在何处100
用户通过AR进行社交活动101
AR应用如何连接现实世界并确定自身位置101
AR应用如何理解现实世界的事物并与之连接102
AR云103
我所想象的AR云104
AR云有多重要104
AR云到底是什么104
为什么媒体对ARKit和ARCore“不感冒”105
构建出色的AR应用还缺少什么105
今天的移动云能否胜任这项工作106
离开AR云，ARKit/ARCore是否毫无用处106
AR云的黎明106
更大的图景——隐私数据和AR云数据108
术语表111
第4部分创建跨平台的VR/AR应用
第6章VR/AR跨平台方法论115
为什么需要跨平台115
游戏引擎的作用117
理解3D图形118
虚拟相机118
自由度119
游戏设计的可移植性教程121
简化控制器的输入123
开发步骤1：设计基本界面123
开发步骤2：平台集成125
总结128
第7章VRTK：社区开源框架130
什么是VRTK，为什么大家会使用VRTK130
VRTK的历史131
SteamVRUnityToolkit的诞生131
VRTKv4133
VRTK的未来133
VRTK的成功134
开始使用VRTKv4135
第8章三项VR/AR最佳开发实践140
VR/AR开发的难度大140
处理移动141
VR中的移动机制142
AR中的移动机制147
有效地利用音效149
VR中的音效150
AR中的音效152
常见的交互范式153
VR背包系统153
AR射线检测156
结语158
第5部分增强数据表示：空间计算中的数据可视化与人工智能
第9章数据与机器学习可视化在空间计算中的开发与设计161
概述161
理解数据的可视化162
空间计算中数据与机器学习的可视化法则163
为什么数据与机器学习的可视化能在空间计算中发挥作用164
数据可视化设计随着XR的出现而发展164
在XR中呈现2D数据与3D数据166
空间计算中的2D数据可视化VS3D数据可视化166
空间计算中的数据可视化交互167
动画168
失败的数据可视化设计169
良好的数据可视化设计能够优化3D空间169
“节省时间感觉就像一切变得简单了”170
数据表示、信息图表与交互170
什么是数据可视化171
数据可视化与大数据或机器学习可视化之间的区别171
如何创建数据可视化：数据可视化的构建流程172
WebXR：在Web端构建数据可视化172
数据可视化在XR中遭遇的挑战173
数据可视化的行业案例174
3D重建与直接操作真实数据：XR中的解剖结构176
近距离了解GlassBrain176
TVASurg医学成像VR模块177
人人都能做数据可视化：XR中的开源数据可视化177
生物大分子数据的可视化179
实践教程：如何在空间计算中创建数据可视化179
如何创建数据可视化：资源181
结语182
参考资料182
资源183
数据可视化工具184
机器学习可视化工具184
数据新闻的可视化184
术语表184
0章AI角色与行为186
概述186
行为189
现状：响应式AI191
适应性192
复杂性与普遍性193
可行性193
赋予系统更高的智能：慎思式AI194
机器学习200
强化学习201
深度强化学习202
模仿学习203
自动规划与机器学习相结合204
应用204
结语205
参考资料206
第6部分体验现实的应用案例
1章VR与AR医疗保健生态系统213
VR/AR医疗保健技术应用设计214
标准用户体验并不直观215
布置安定的环境216
便利性216
指导案例：帕金森综合征项目Insight216
Insight的做法217
Insight的构建217
企业221
医疗规划与指导222
与医疗教育相关的体验222
与患者相关的体验224
主动式医疗保健226
前沿学术机构的研究案例226
2章体育爱好者的XR体验231
概述231
部分：体育AR与VR的五大关键法则234
没有绝对的实时235
第2部分：体育领域产品体验的进一步发展238
第3部分：打造未来240
所有权243
忠告245
结语246
3章VR企业培训案例247
概述：企业培训的重要性247
VR培训有用吗248
案例：洪水屋培训250
VR培训适合什么场景？“RIDE”准则253
什么是良好的VR培训254
3D全景视频255
3D全景视频的优势256
3D全景视频面临的挑战256
3D全景视频的交互256
案例：工厂车间培训260
叙事的重要性261
案例：商店反抢劫应急培训261
XR培训的未来：超越3D全景视频263
计算机图形263
案例：职场软技能培训263
展望：摄影测量技术265
展望：光场266
展望：AR培训266
展望：语音识别267
展望：最理想的培训体验267
参考资料268
后记269
关于作者271
关于封面274