上海科技大学虚拟现实与可视计算实验室 曹煊博士
Magic Leap从诞生之初就受到万众瞩目，凭借其三大核心技术（SLAM、CG、Light Filed）获得了巨额融资，尤其是其所称的光场（Light Field）技术更是被奉为黑科技。但由于迟迟没有推出商业化产品，外界对其质疑不断增加。近日，随着外媒《The Information》公然“叫板”Magic Leap，国内群众也出现一边倒的趋势。Magic Leap的前两项核心技术SLAM和CG发展已经比较成熟，微软HoloLens已经侧面验证了这两项技术是可以商业化的。外界对其最大质疑集中在第三项核心技术——光场。Magic Leap所称的光场技术真的能如其名一样实现魔法之跃吗？该技术到底能不能改变VR/AR未来的技术路线和商业格局？本文将重点从技术的可行性方面来分析上述问题。
光场并非“水中月”
首先可以明确的是：光场并不是Magic Leap凭空构造出来的新概念，光场技术的理论研究已经持续三十多年，光场技术涉及多个交叉学科，技术难度高，但也不至于像超越光速那么遥不可及，国外多个研究机构都曾公开展示过光场样机。
光场技术从1981年开始受到世界顶级科研机构的关注并展开了持续的研究。类似电磁场的概念，光场是分布于空间中所有光线的集合。简单来说，光场技术的终极目标就是采集空间中所有的光线并投射出来，实现类似《星球大战》中的数字全息显示。而Magic Leap之前公开的视频中演示了类似的场景。Magic Leap所称的光场技术并非“水中月、镜中花”，该技术有足够理论研究支撑，至少实验室级的光场样机早已得到验证。
Magic Leap的虚与实
Magic Leap曾经公开过多个视频素材，包括体育馆的鲸鱼、手中的大象、悬浮的太阳系、办公室的枪击游戏等。其中部分视频明确说明“直接录制，无任何后期特效”。其他未注明的视频，例如体育馆的鲸鱼，Magic Leap早就承认是特效制作。在2014年的CES大会上Intel就展示过了类似的效果（Intel CES 2014 flying whale），本质上是一种Video-Based AR技术，将鲸鱼的动态图像叠加在现场拍摄的视频上。
国内普遍误解Magic Leap已经实现了裸眼空中悬浮成像技术，对其期望甚高。裸眼空中悬浮成像技术目前进展缓慢，该技术在未来10年都难以实现。然而Magic Leap的研发目标并不是这样的技术，也没有表明不需要佩戴眼镜，而且其CEO Rony Abovitz曾展示过一块透明的镜片，可见Magic Leap仍然是需要佩戴眼镜设备的。该镜片看似普通透明玻璃片，Magic Leap称为硅光电技术（Silicon Photonics，详见维基百科），光学顶级期刊OE上大量文章报道该技术研究。以色列Lumus以及微软HoloLens采用的是光波导技术（Light Waveguides），可以使显示器件更轻更薄，但只能为单眼投射单幅图像。而Magic Leap却称其采用的技术不仅能轻薄化，而且能为单眼提供多幅不同聚焦的图片，从而实现光场显示。
Magic Leap曾公开过三段Demo视频都标注“直接拍摄、无后期特效”，而Demo视频中体现的光场显示技术，可以依靠多种技术方案实现。例如Lanman在NVIDIA展示过Near-eye Light Field Display的VR头盔样机，虽然分辨率比较低，但确实实现了光场显示。另一种光场显示方案是多投影阵列技术，这也正是Magic Leap所采用的技术，美国南加州大学在2016年CVPR上展示过可实现1∶1真人秀的裸眼光场显示，该系统包括了216个投影仪、6台PC主机，占地一个房间大小。裸眼光场不需要用户佩戴特殊眼镜且能满足多人同时从不同角度观看，因此需要更多的投影仪来增加可视FOV。Magic Leap需要佩戴眼镜，因此需要的投影仪数量和计算量都更少，但仍然是传统2D图像处理的好几倍。
Magic Leap的光场显示也是采用多投影阵列的技术方案，并声称采用了光纤投影，如果该光纤投影能像普通投影仪一样稳定输出彩色图像，那么光场显示系统的体积可大大减小，但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。即使光纤投影达到要求，但光场显示的计算量仍然非常巨大，目前的移动端处理器都难以实现实时的交互式光场显示，仍然需要依赖PC电脑。
为了减少光场计算量，Magic Leap极有可能采用了眼球追踪技术。RGB光纤输入待显示的图像，I光纤输入红外光并进入人眼，根据红外相机捕获眼球反射的红外光可以分析出当前人眼的注视方向，通过追踪人眼注视方向来对感兴趣区域（ROI）图像进行聚焦处理。
光场显示商业化的拦路虎
总体来说，Magic Leap声称的光场显示在技术原理上是可行的，且多个研究机构都展示过光场显示样机。但Magic Leap要商业化却面临着下列三大难点。
一是光场数据量太大，数据存储和传输都将面临问题。未来的AR/MR必然存在内容的分享，就像手机分享2D图片一样，但是现有的网络带宽还无法实现流畅的光场内容分享。近几年，压缩光场技术被提出，一方面利用光场数据的冗余性可大大降低数据存储量，另一方面随着5G网络和LiFi技术的发展，这个问题会迎刃而解。
二是光场计算量大。要实现逼真的光场显示，其计算量是传统2D图像的好几倍，现有的移动端通用处理器难以负担如此大的计算量。微软HoloLens设计的全息处理单元（HPU）成功克服了通用移动处理器性能不足的问题。Magic Leap曾提及光场芯片（Light-Field Chip），该芯片能否实现实时的交互式光场处理，只能留给时间来验证了。现阶段的光场处理仍然需要依赖PC电脑。
三是小型化、便携性。从美国南加州大学基于多投影的Life-Size光场显示来看，要实现逼真的裸眼（Glass-Free）光场显示所需要设备的总体积约占一个房间。当然Magic Leap通过佩戴眼镜降低了对投影数量和计算量的要求，设备体积不至于那么大。第一台计算机诞生时也占据了整个房间，发展到现在的笔记本电脑历经了60多年。便携式的高性能光场显示样机在10年内是难以实现的，因此Magic Leap必须在设备体积和光场显示效果之间寻找平衡点，才能在短时间内实现小型化，虽然牺牲了光场性能，但相比其他AR产品仍然迈出了重大的第一步。
光场采集更接地气
光场可以分为“光场显示”和“光场采集”，两方面技术的理论研究都已经比较成熟。Magic Leap属于前者，现有的显示器件（LCD、OLED等）在每个像素点发出的光学是各项同性的。简单来说，当你从不同角度去看电脑屏幕时，看到的图像是一样的。而光场显示要求每个像素点在不同方向上发出不同的光线，现有显示器件都无法满足。光场显示现在面临的最大困难就是显示器件的革新，这需要材料学、光学、半导体等多个基础学科的共同努力。近几年，这方面的研究不断取得突破，如David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光，相信不久的未来光场显示器件会大量普及。
相比于光场显示，光场采集技术更接地气。因为光场采集不依赖于特殊的光学器件，用传统的单反相机组成阵列即可采集光场，而算法才是光场采集的核心。换句话说，光场显示更依赖于特殊的显示器件（硬件），而光场采集更依赖于算法（软件）。在Magic Leap演示的所有Demo中，无论是机器人、太阳系、办公室的邮件等都是计算机渲染的光场，而没有采集真实场景的光场，可见Magic Leap现在还无暇顾及光场采集技术，亦或等待与其他光场采集技术团队合作。光场采集在洛杉矶的好莱坞已经被大量使用，包括《阿凡达》等经典3D电影都是采用了光场采集技术，以达到逼真的3D显示效果。电影《黑客帝国》中躲避子弹的镜头也是采用了基于相机整列的光场采集技术。相关技术在国内刚刚兴起，上海大剧院与叠镜科技合作拍摄了360°动静态结合的3D话剧，实现了逼真的虚拟现实体验。
总之，Magic Leap提出的光场显示技术是一种终极显示方式，是一场伟大的、革新的技术突破。虽然投入巨大，商业化还面临困难，但仍然值得投入。面对当前产品商业化的困难，Magic Leap不仅需要研究上的技术之跃，还需要工程上的魔法之跃。