Apple Vision Pro手部追踪和遮挡演示曝光

Apple Vision Pro开发者发布的一段视频似乎展示了Vision Pro当前的手部追踪和遮挡性能水平。

Vision Pro预计将在未来几个月内推出，手部操控将是主要输入方式。系统级交互将手部追踪与眼部追踪相结合，形成“查看和点击”模式，不仅如此开发者还可以构建支持用户直接使用双手与应用交互的应用程序。

Vision Pro手部追踪分为两种不同的功能：“手部追踪”和“手部遮挡”。

手部追踪是手、手关节和指尖位置的预估3D模型，该模型应用于物体触摸、抓握和交互。

手部遮挡涉及系统如何将真实手部覆盖到虚拟内容。Vision Pro不是将虚拟手部3D模型绘制到场景中，而是剪切真实手部图像以将其显示在场景中。这样做为虚拟内容增添了另一层真实感，使用户可以看到自己双手。

为此，基于Unity构建Vision Pro的开发者发布了一段视频，清晰展示了手部追踪和遮挡。

我们可以看到，手部遮挡非常好，但并不完美；当完全被虚拟内容包裹并快速移动时，可以看到手部边缘出现一些剪裁。

同时，实际的手部追踪位置比手部遮挡更加滞后，大约慢100-200毫秒。然而，我们无法完全确定Vision Pro手部追踪的真实延迟，因为我们只能看到遮挡追踪手部的视图来进行比较（手部追踪本身相对于真实的手部会有一些延迟）。

在这种情况下，Unity开发者称与最新Quest手部追踪功能相比，Vision Pro的早期实验显示出非常高的手部追踪延迟，其他Unity开发者一致认为，也在Vision Pro上也看到了类似的延迟。

然而，该视频反馈的是Unity应用内部手部追踪集成，这意味着手部追踪性能和延迟可能存在与Unity相关的其他因素，而在使用苹果第一方Vision Pro开发工具时，这些因素并不存在。考虑到Vision Pro尚未推出，并且这些工具仍在开发中，当头显实际上架时，我们可能会看到更多手部追踪改进。