2020年12月25日 | 苹果增强现实技术将影棚中的绿布搬到手机上

2020-12-25 来源：爱集微

11月22日，很多传言宣称，在不久的将来，苹果将推出一款增强现实（AR）或混合现实（MR）设备，目前，AR功能在iPhone上已经变得十分活跃，而且正在迅速变得越来越好。

AR技术包括了虚拟成像，不仅指我们常见的虚拟人物的创建，还包括照片、视频图像的处理等。其中有一项技术，就是常常被用在影棚中的绿布技术，我们知道，在电影棚中，很多场景都是先以绿布为背景进行拍摄，再在后期进行背景的替换、填充等操作。

那么，如果想要在手机这样的移动设备上自动实现这样的效果，应该怎么办呢？为此，苹果在18年9月7日申请了一项名为“增强现实自拍摄”的发明专利（申请号：201880048711.2），申请人为苹果公司。

根据该专利目前公开的资料，让我们一起来看看苹果的这项增强现实自拍技术吧。

如上图，为该专利中发明的AR自拍概念渲染图，系统环境为：用户100在使用移动设备102进行自拍。在拍摄期间，移动设备会从虚拟环境106中提取虚拟背景104，这个过程可以帮助用户实现自动的背景替换，相当于电影拍摄中的绿布替换，可以自由地更换用户想要的各种背景图案。

并且，当用户改变移动设备在真实世界中的方向时，移动设备会通过陀螺仪、加速度器来进行感知，从而保持虚拟背景跟随用户同时进行移动，如下图所示，为用户面对移动设备进行自拍的效果图示。

可以看到，由于我们所在的空间为三维空间，因此该专利针对于移动设备也进行了三维坐标系的规划以及建模，当使用者旋转移动设备时，运动传感器可以更新设备的姿态四元数，该数据用于推导相机转换以用于为后置相机确定在虚拟环境中的相机视野方向，以便于更好的进行人物位置追踪。

而除了保持背景与人物的跟踪外，如何将拍摄的人物与背景图像进行完美、逼真的融合也是该专利必须要考虑的因素。

如上图，为AR自拍中使用合成的方案进行背景的自动替换，系统会给予拍照者边缘处理，例如围绕图像的“辉光”或者“油墨”轮廓，并为之创建一个蒙版，熟悉ps操作的小伙伴对这个词语应该是相当熟悉了，在蒙版的后面还有一个动画层，用来在人物与背景之间增加过度效果，使得图像看起来更加的逼真。

如上图，展示了使用深度数据生成经预处理(粗略)蒙版的过程，主要分为三个阶段：预处理阶段603、RGB-D蒙版提取阶段604和后处理阶段605，自拍者的RGB视频数据601和由IR深度传感器提供的深度数据602作为整个方案的输入。

预处理步骤包括生成图像的直方图、阈值分割、人体外轮廓检测、内轮廓检测和粗略蒙版生成等。RGB-D过程将人体的轮廓信息与背景信息进行融合，以生成初步的背景图案替换图，最后，在后处理阶段，进行轮廓边缘的精细修复，以达到完美的效果。

以上就是苹果发明的应用于移动端的智能拍摄背景替换方案，在用户拍摄视频以及照片的基础上，自动调用移动设备中的运动传感器以跟随用户的姿态调整，同时采用背景分割+蒙版处理的形式来更换用户可自定义的图像背景，从而达到了可自由更改的背景图的效果，改善了用户的拍摄体验。

苹果

2020年12月25日 | 苹果增强现实技术 将影棚中的绿布搬到手机上