文｜佰态  

3个月之前，一家位于加拿大的VR内容制作公司Felix & Paul工作室为了庆祝1969年的登月事件，联合《时代周刊》共同发布了新一期的系列VR纪录片《太空探索者》。

图片来源：Felix & Paul工作室

毫无疑问，这部运用交互式虚拟视频技术、号称可以让观众从国际空间站内外体验宇宙最后边疆的纪录片，出圈了。其中，整个系列纪录片都以超高分辨率电影虚拟现实拍摄方式来呈现，影片的首次太空行走也成为全篇高潮。不难看出，作为“赢在未来的技术”、“通往元宇宙的钥匙”，XR互动技术显然迎来了长足的发展，并且催生出各式各样的互动形态和内容形式，让人们其未来发展充满了想象。

当我们的交互方式开始由2D向着3D迭代演变，XR互动究竟意味着什么？

01、二十年历程，XR发展如何打破桎梏？

想要弄明白这个问题，不妨先了解一下XR互动的具体内核。事实上，XR是一个宽泛的“大雨伞”，涵盖了VR（Virtual Reality，虚拟现实）、AR（Augmented Reality，增强现实）以及MR（Mixed Reality，混合现实）。三种技术的交集，共同构筑了XR的技术底层。

实际上，随着数字化进程的不断推进，VR、AR、MR技术都已经日臻成熟。或许已经有人听说过AR/VR技术，但是XR技术却是依然难以被大众所知，但实际上在不知不觉中XR技术已经悄然影响着我们的生活。那么，XR技术神秘面纱下的真面目究竟是什么呢？

从发展阶段来看，XR技术的发展大致可以分为几个阶段：

在互联网尚未完全普及的1999年，跳舞机开始风靡全球。在大街小巷，玩家根据屏幕上的箭头指示，在地上的跳舞毯用脚踩击，动感十足的舞曲加上高手炫酷的表演，在彼时迅速掀起了全民跳舞潮。也许大多数人并没有意识到，跳舞机事实上也是XR互动技术早期应用的体现。但那个时候的体感互动设备，往往占地面积较大、投入成本较高，并且支持的互动操作也较为有限。

时间来到2006年，任天堂发售了最新的电视游戏主机——Wii，作为第一款引入体感功能的电视游戏主机，Wii最与众不同的特色在于Wii Remote手柄。Wii Remote可以实现指向定位与动作感应两种操作。指向定位功能可用于控制屏幕上的光标，动作感应功能则可侦测三维空间中的移动及旋转。在两种功能的加持下，Wii Remote可在游戏中化为球棒、刀剑等道具，使用户能够实现多种动作。自此，体感类游戏首次从街头巷尾走进了玩家的家中，但尽管体积有所缩小，但使用的门槛和价格却进一步提高，用户需要花费高昂的价格购买专用的设备体验。

2021年开始，市场风起云涌，XR技术活跃在大众视野下，包括HTC VIVE、Oculus Quest 2、PICO等虚拟现实设备的火爆，也让市场看到了XR互动设备的潜力。XR设备开始更多地运用到在线演唱会、发布会现场、电影拍摄现场以及电视节目等场景，开始运用高科技感以及逼真感的XR技术，例如2021年的春节联欢晚会就首次采用了XR技术来营造更为沉浸的影视体验。此外，包括Meta、苹果、华为等科技型企业均开始布局XR设备的研发。

但需要注意的是，从XR互动技术发展至今，均是基于新的设备和新的平台进行打造，对于用户而言不仅需要购置新的体验设备，还需要额外的学习成本才能够实现对于新设备的运用，这也成为了长期以来XR设备发展的最大痛点。

02、当云游戏技术成为催化剂

日前，IDC发布《全球增强和虚拟现实支出指南》，报告中预测在2026年，亚太地区AR/VR支出将达166亿美元，复合年增长率提升42.%。尽管XR互动技术存在痛点，但与整个蒸蒸日上的市场相比，这样的短板也足以被市场忽视。但IDC分析师还预测，未来几年内AR/VR技术将对消费者更加友好，用户体验将得到改善。

在近期举行的时尚虚拟偶像星瞳的生日会上，似乎让人看到了XR互动进阶的新突破点。

11月3-5日，时尚虚拟偶像、QQ炫舞系列虚拟代言人星瞳在杭州竞鹅酒店（腾讯电竞联名店）举办线下生日活动，活动中的互动环节引起了外界的注意——通过借助腾讯先锋的虚实互动技术，可以让真实用户不借助绿幕抠图和特殊装备，仅凭手机便能实时投射在大屏的虚拟场景中，和星瞳进行跳舞挑战，还能通过系统对玩家骨骼姿态的判断得到打分评级，共同解锁AI虚实互动体验。

显然，这样依靠大屏+手机的XR互动体验，摆脱了此前对于专业XR互动设备的依赖，将XR设备繁琐复杂的空间计算、图形处理工作转移至云端，仅以手机作为信号收集和互动入口的工具，并最终在大屏幕得以呈现，自然为用户提供了更高的自由度以及上手体验感。

诚然，对于XR行业而言，这样的改变尚且不足以改变生态。但需要注意的是，这确实为一直以来依赖专业设备的行业提供了新的解决方案。

从这个方面来看，星瞳AI虚实互动体验是如何实现的呢？这与其背后的腾讯先锋虚实互动技术的三大核心技术能力息息相关。

一是实时无绿幕抠图。作为XR行业的关键核心技术，视觉空间定位技术的发展，对整个XR生态有着至关重要的影响。而基于云端的实时4K视频发丝级抠图，让用户仅需使用普通手机摄像头，无需绿幕、无需设备算力即可高质量完成抠图，帮助普通用户将形象投射至虚拟场景中进行流畅互动，帧率可达60FPS。对于企业而言，这无疑成为了已达瓶颈的视觉空间定位技术的突破点。

二是姿态估计与动作捕捉。传统的动作捕捉系统包括传感器、信号捕捉设备、数据传输设备、数据处理设备。不仅需要多组光学动作捕捉镜头互相配合确定三维坐标，还需要动捕软件算出目标的位置、运动轨迹等信息，实现动作捕捉。但对于用户而言，不仅意味着高昂的设备支出，也需要更大的空间容纳相关设备。而腾讯先锋这项技术的姿态估计与动作捕捉则不需要依赖特殊场地和拍摄设备，也无需额外穿戴，仅使用手机的普通RGB摄像头，即可随时随地实现动作捕捉。并且支持包括身体、手部和表情在内的高精度全身动捕，相关数据的处理也完全基于云端计算，无需用户设备额外算力。

三是实时云端视频流媒体AI通用处理架构。XR头显可以提供最高分辨率和更清晰的视觉效果，但头显渲染虚拟内容需要配备强大GPU的计算机，也进一步限制了用户探索XR头显的能力边界。而该技术整合硬件编解码和高效神经网络推理框架，基于云游戏的能力，构建了完整的视频流媒体处理与云端低延迟AI计算方案。最终在云端计算能力的辅助下，能够更好地摆脱本地计算设备的限制，让用户再也无需担心手机储存空间和硬件配置，在功能较弱的机器上也能够提供高质量的XR体验。这对于AI虚实互动体验而言，无疑是突破软硬件条件限制的突围点。

事实上，以上的种种核心能力，均是基于腾讯先锋在云游戏方面的探索所积累的经验，受游戏的启发而不断拓展，也逐渐超脱于游戏之外，为更多技术的更迭提供了助推力。

03、XR破局，应用场景外延持续拓展

据Counterpoint Research报告显示，截至2022年二季度，Meta AR/VR设备全球市场份额达66%，市场优势地位明显。PICO紧随其后，市场份额为11%。根据IDC，全球XR头显出货量复合年均增长率预计将在2024年达到38%，行业的发展前景可见一斑。

XR互动设备乘风起，或许，我们现在可以预想一下XR的应用场景了。

事实上，当前XR已经形成丰富的应用场景，当下最主要的还是应用于C端消费级，目前包括游戏、影视娱乐等等，而在制造业、零售业、医疗、教育等B端场景，XR也开始出现广泛布局。据中国信通院发布的《虚拟（增强）现实白皮书》，2022年XR产业将正式步入深度沉浸阶段，市场渗透率也在进一步提升。

例如在工业方面，在《中国制造2025》重点领域技术路线图重大政策文件中，虚拟现实被列为智能制造核心信息设备领域的关键技术之一，通过智能制造各个环节的信息获取、实时通信，以实现动态交互、智能决策分析和智能控制。这样的思路在行业内也有了初步的应用，包括奥迪、福特、宝马、丰田、沃尔沃等主流车企积极引入XR技术用于汽车研发。以奥迪为例，基于VR的虚拟装配线校验，使流水线工人在三维虚拟空间内完成对实际产品装配工作的预估和校准，显著提升了生产与组装效率；同样地，福特使用VR技术检查汽车的整个外观与内饰设计，并能够查看特定细节，成为进行阶段性数据验证、业务流程参考的重要支撑。

在生物医药大健康产业方面，随着5G技术的成熟运用，也极大地加快了XR设备的传输速度，结合相关设备，也能够作为传统医学手段的有效补充。例如，总部位于美国芝加哥的医疗科技初创公司Level Ex 研发的VR医疗软件——Airway Ex，能够通过对人体组织动力学、内窥镜设备光学和运动流体的现实模拟，针对外科手术医生提供了一种避免对人产生伤害的手术训练方式。

而在教育培训领域，XR互动技术也起到了至关重要的作用。K12教育、职教领域，XR都有非常大的应用空间，XR技术可以形象地对抽象的概念进行具象表达，对难以实操的高价值设备进行虚拟仿真实训学习。一直以来，NASA对XR技术情有独钟，此前在德克萨斯州休斯顿桑尼卡特训练基地中建立了一个中性浮力VR实验室，主要用于模拟空间站环境，帮助宇航员们更好地适应重力、完成各种工作，更直观地了解、理解太空行走的流程和可能发生的危险状况。

而在体感游戏领域，XR互动技术也将成为推动游戏互动形式迭代的重要推动力。据此前基于Valve和Steam的官方数据，Steam平台头显每月的连接数保持上升趋势，且增长幅度不断加大；此外，支持XR设备的游戏数量也在持续增加，9月份Steam平台共上线60款支持VR的游戏，相比上个月49款有所增加。据Steam平台9月软硬件调查结果显示，2022年9月头显连接数量总体数量已经达到Steam用户总量的2.03%。

当行业应用加速落地，类似电影的《头号玩家》时代究竟什么时候可以到来？

XR互动被行业寄予厚望，被看作是有能力接棒智能手机、成为下一代超级终端的产品。

总体来看，XR技术跨学科广、涉及领域多、成熟速度慢，但一旦成熟将是全新的颠覆性计算平台。值得注意的是，包括高通、苹果、三星等企业都开始着手研发相关的硬件。但需要注意的是，距离XR黄金时代的到来，还尚且有一段距离。距离XR时代拐点的到来，还需要解决底层技术成熟度和终端设备轻量化的问题。

但这次腾讯先锋携手星瞳带来的AI虚实互动体验，也让整个行业看到了基于云游戏技术实现XR互动，帮助XR产业更好开拓市场的可能性。

国人的创新是浪漫且充满诗意的。

20世纪90年代初，钱学森在阅读文献时注意到了“Virtual Reality”，将之命名为“灵境”。也留下了这么一句话“灵境技术是继计算机技术革命之后的又一项技术革命。它将引发一系列震撼全世界的变革，一定是人类历史中的大事。”

值得庆幸的是，这样的历史大事，已经悄然拉开帷幕，众多企业也开启了这场抢夺新时代先机的卡位战。可以预见的是，随着技术、生态的不断完善，更丰富的场景不断落地，市场对于XR的接纳程度不断提高，属于XR互动的黄金时代也将随之到来。