Apple 希望让真实和Apple AR对象之间无缝连接，这样当用户点击特定的虚拟控件时，系统每次都能正确操作。

Apple 的很多 Apple AR 专利和专利申请都与可以呈现给用户的内容以及他们可以做什么有关。因此，有一些例子表明，对于“ Apple Glass ”的佩戴者而言，Apple 希望将现实世界中任何物体的任何表面都变成触摸控件。

然而，所有这些都需要的是准确性。当用户看到一个虚拟物体并相信他们已经捡到它时，Apple AR 必须知道这一点。它必须知道这一点，以便它可以在新位置为虚拟对象设置动画。

“根据四肢跟踪信息和眼动跟踪信息定位用户控制的空间选择器”是一项新近披露的专利申请，正是与此相关。它建议通过使用两种不同的方法来精确确定用户正在触摸的位置，从而比现有的 AR 和 VR 系统更好。

“[当前] 应用程序没有提供一种机制来准确确定虚拟对象和用户控制的空间选择器之间的虚拟接触的虚拟空间位置，”Apple 说。“当前的应用程序也没有提供一种机制来准确确定虚拟接触何时发生。”

“例如，一些系统利用四肢跟踪来估计用户四肢相对于虚拟对象的位置，”它继续说道。“然而，四肢跟踪提供的估计是不准确的，因此对用户是否选择虚拟对象的评估同样不准确。”

例如，可以通过手套内的加速度计来完成四肢跟踪，但即便如此，它仍然是近似的。苹果想从任何一种肢体追踪器开始，然后再用眼动追踪来补充它。

苹果在其“Apple Glass”的专利中广泛使用了眼球追踪技术，而该专利申请并未详细说明其工作原理。相反，它展示了眼睛和注视跟踪如何帮助对用户的手或手指的位置进行准确的空间计算。

原因是当你伸手去拿起一个虚拟杯子，或者你想按下一个虚拟按钮，你肯定会看着它。情况并非总是如此，但在大多数情况下，当您的手指指向某物时，您的眼睛正在注视。

“[例如，建议的] 电子设备对右手手指执行四肢跟踪功能，以确定 CGR [计算机生成的现实] 环境的第一个候选虚拟空间位置，”Apple 说。这个第一个候选实际上是对虚拟对象在哪里的第一个猜测，尽管是一个非常准确的猜测。

苹果公司强调，这本身还不够。存在差异是“由四肢跟踪功能的固有不准确造成的”。苹果警告说，如果用户试图点击虚拟控件，这些不准确可能意味着“电子设备可能会执行与预期操作相反的操作”。

因此，Apple 建议使用这种肢体跟踪，但随后确定对象和用户彼此之间的位置需要使用两个系统。它“利用了四肢跟踪功能和眼球跟踪功能的加权组合。”

Apple