美国专利和商标局（USPTO）公布了一项苹果申请的“在真实环境中编辑虚拟物体的方法和设备”，这份专利描述了一种使用高级硬件和复杂逻辑算法将虚拟物体插入现实世界中，已经将现实世界中的真实物体移动和删除的方法。这份专利是德国 AR 公司 Metaio 在 2015 年申请的，随后 2007 年又在德国重新递交。Metaio 2010 年在美国重新递交了这份专利，苹果收购 Metaio 后，这份专利在去年 11 月转移给苹果。
专利中描述了一种将数字物体在真实环境中呈现的方法，主要将计算机生成的虚拟物体与真实世界的图像合并。目前，AR 技术的主要挑战之一就是如何将虚拟物体与真实世界中的物体合并。
例如，将虚拟椅子叠加到给定环境的实时视频中就需要高精度的定位数据，创建边界，图像缩放和其他技术考虑。 没有正确的硬件运行复杂的软件算法，虚拟椅子的图像可能会发生碰撞，透视和几何问题，或者出现不合适的地方。
苹果公司的解决方案采用高分辨率相机，强大的板载图像处理器和高级定位和位置硬件等硬件。目前市场上销售的 iPhone 已经配备了这些组件。
具体而言，这份专利要求摄像机或设备捕获真实环境的二维图像并且确定其相对于至少一个对象或图像内部件的位置。从那里，设备使用深度映射，雷达，立体相机或其他技术收集三维图像信息或空间信息，包括其周围环境的地板和墙壁的相对定位。
接下来，系统划分或指定二维环境的给定区域。该分割数据将用于将虚拟对象合并到显示的图像上，同时移除真实环境的所选部分。