本书从虚实互动的角度详细介绍如何通过外部软硬件来控制Unreal Engine5（简称UE5）的内容呈现，以及如何使用UE5来控制外部软硬件设备。利用各类技术手段高效便捷地完成与UE5的虚实互动，让互动作品变得更加炫酷出彩，是本书的核心内容。第1章介绍这些技术原理；第2章介绍UE5借助Arduino连接物联网硬件的方法；为了让UE5与外部设备之间的互动更加生动而富有吸引力，第3章介绍如何在UE5中使用必备的数学知识；第4章讲解利用Live Link技术让UE5获取精确的外部设备空间位置数据流，来实现更高级的互动；第5章讲解UE5利用NDI技术助力OBS实现互动直播的技巧；第6章和第7章涉及全景互动和音频互动，属于进阶内容，UE5的全景技术可以让全景展示的构建效率倍增，而出色的音频互动则可以让视听效果相得益彰。
本书适合对虚实结合数字互动技术感兴趣的读者阅读，包括展览展会设计领域的从业人员、展览展示专业的学生、文创行业和影视行业中的虚拟制片人员、直播业务的工作人员，以及想在业务中引入创意互动来为现场吸引流量的极客。本书也适合计划投身数字孪生开发、大数据可视化开发的学生阅读。

蔡山，1998年毕业于湖北大学经济系。曾在全球五百强外企Synnex担任电子商务部技术经理，后任优酷士豆集团广告技术部技术总监。在多年的技术生涯中，博采众长，兼收并蓄，尤其在互动开发方面颇有心得。在众多的项目实战中，为了迎合各类客户的需要，对视觉、音效、交互体验和交互性能的融合与平衡方面研究不辍。对于如何综合运用不同的开发语言和硬件平台，有自己独到的见解。对全景互动、三维互动、物联网开发和虚拟现实都有深入的探索和技术积累。参与过数十家企业的员工技能培训，在团队培训方面有丰富的经验及扎实的授课能力。

第1章 从外部控制UE5界面
1.1 借助SocketIO实现用移动端网页控制UE5
1.1.1 安装SocketIOClient插件并设置WebSocket
1.1.2 使用JavaScript与蓝图通信
1.1.3 与UE5中的物体进行互动的两种方法
1.1.4 实例: 手机遥控点亮UE5屏基上的烟火
1.2 用Remote Control API远程控制UE5界面
1.2.1 初步认识Insomnia调试指令
1.2.2 采用AJAX+PHP自定义页面发送指令
1.2.3 使用Remote Control Web Interface
1.2.4 实例：用iPad切换机位并调焦
1.3 DMX管控UE5数字灯光系统
1.3.1 搭建DMX Library配置设备信息
1.3.2 用DMX来调控物体的转速
1.3.3 使用外部软件来发送DMX给UE5
1.3.4 实例：可遥控的数字灯光秀
1.4 用OSC来控制UE5中的物体
1.4.1 用TouchOSC定制UE5的控制界面
1.4.2 用蓝图接收OSC信号
1.4.3 实例：用OSC控制UE5的人物动作
1.5 在UE5中使用MIDI乐器数字接口
1.5.1 使用虚拟琴健发送MIDI信号
1.5.2 UE5处理MIDl信号的两种方式
1.5.3 实例：使用nanoKONTROL2操作UE5
第2章 让UE5连接外部硬件
2.1 串口通信让智能硬件连接UE5
2.1.1 SerialCOM让UE5具有串口通信能力
2.1.2 Arduino传感器与UE5互动
2.1.3 实例：Arduino用声音传感器联动UE5
2.2 MOTT让UE5融入物联网的世界
2.2.1 利用腾讯云轻松搭建MQTT服务器
2.2.2 UE5蓝图与MQTT服务器通信
2.2.3 Arduino板与UE5借助MQTT互动
2.2.4 实例：让虚拟螺旋桨与真实螺旋桨同步
2.3 UE5利用UDP与硬件通信
2.3.1 UE5如何使用UDP插件
2.3.2 实例：ESP8266板与UIE5利用UJDP互控
第3章 数学让UE5的互动更有趣
3.1 数学表达式节点和常用数学函数
3.1.1 数学表达式节点
3.1.2 常用的数学函数
3.2 实践向量的运算
3.2.1 向量减法
3.2.2 向量加法
3.2.3 向量乘法
3.2.4 向量除法
3.3 半空间测试与法线求解
3.3.1 半空问测试
3.3.2 法线求解
3.4 圆周运动与Bezier轨迹
3.4.1 圆周运动
3.4.2 Bezier轨迹
3.5 实例：ESP32板触摸水果跷跷板
第4章 UE5使用Live Link获取外部数据流
4.1 让虚拟人记录你的表情
4.1.1 使用Live Link Face App
4.1.2 使用Live Link Face Importers
4.2 使用LiveLinkXR
4.2.1 如何使用Live LinkXR获取Tracker数据
4.2.2 使用LiveLinkXR指件校准摄像机
第5章 UE5与OBS联手助力直播互动
5.1 用WebSocket控制OBS浏览器组件
5.1.1 安装OBS Stuido井启用WebSocket
5.1.2 连接OBS WebSocket服务器
5.1.3 调用BroadcastCustomEvent广播信息
5.2 用WebSocket控制OBS场景和来源
5.2.1 通过网页递控切换OBS场景
5.2.2 通过网页操控OBS来源对象的属性
5.3 UE5通过NDI助力OBS
5.4 OWL Cinecam和OWL Screen Capture
5.5 实例：用UE5搭建一个直播演播室
第6章 在UE5中使用全景展示
6.1 UE5用Panoramic Capture捕捉全景图
6.1.1 Panoramic Capture捕获单张全景图
6.1.2 Panoramic Capture制作VR视频
6.2 UE5使用HDRIBackdrop展现全景
6.2.1 HDRIBackdrop使用方法详解
6.2.2 实例：HDRIBackdrop构建過真的全景展台
第7章 UE5的音效控制技术MetaSound
7.1 UE5的MetaSound介绍
7.1.1 使用MetaSound的参数与触发器
7.1.2 使用MetaSound的Interfaces
7.2 MetaSound与场景互动
7.2.1 了解MetaSound更多的API
7.2.2 获取声音的报幅数据
7.2.3 实例：UE5逼控一场交响乐合奏