编者按:本文来自微信公众号“青亭网”(ID:qingtinwang),作者 freeAll

一个成本 200 来块的盒子,对标 2 万多的微软 HoloLens。这事儿听上去靠谱吗?

如果你知道 AR(增强现实)眼镜是个啥,就应该了解在目前的市面上,体验最棒、技术最强的就是微软公司的 HoloLens。错过了移动互联网大潮的微软,为了赶上混合现实(Mixed Reality)的下一波,不惜投入重金砸出来了这么一款黑科技满满的眼镜。

[attach]802626[/attach]

“把一块虚拟图像自然地贴合到人的视野里,就像真实物体一样”,这么简单的一句话,基本就是所有增强现实/混合现实体验的基础了——实际上,AR 眼镜的问题简单来说,就是一个“定位”和“显示”的问题,前者让虚拟物体能固定在原地不会乱飘,后者让虚拟物体看上去色泽饱满不会显得假。

然而,说起来容易,要实现这一切太困难了。微软甚至为了处理所有从摄像机和传感器序列传来的数据,专门给 HoloLens 打造了一块 HPU 芯片。定位技术 SLAM 方面,搭载了四台摄像头加一台深度摄像头的 HoloLens 效果非常稳定,绝对吊打目前市面上的一切设备;遑论屌爆的光波导显示方案和 3D 音频系统……当然,它的价格也是非常感人,大陆官网上价格分别为商用版 39188 元和 23488 元。

不过,就在苹果推出 ARKit 前后的六月初,一个 ID 为“Amber Hu”(真名胡伯涛)的家伙在知乎上贴出了自己的 HoloKit 方案,号称用 30 美元成本的纸盒子打造“比 HoloLens 效果还好的混合现实眼镜”,在业内引发了不小的轰动,不少 AR 圈公司的高管纷纷在朋友圈转发此文章,也有直接发给笔者本人的。自然而然,也引发了一些质疑。

[attach]802627[/attach]

但是,紧接着苹果的 ARKit 很快热潮起来,国内媒体铺天盖地的报道、培训机构闻风而动的跟进,各种 ARKit 相关 demo 如雨后春笋一般诞生,HoloKit 的声音也自然而然地被淹没下去了。

没想到的是,7 月 15 日网易又突然宣布,网易严选会代理 HoloKit 这款产品。网易相关人士告诉青亭网,这款产品将于大约年底登陆网易严选,到时候产品的各方面都将得到升级。胡伯涛也告诉青亭网,HoloKit 这个项目目前已经和他基本上没什么关系了,“网易愿意商业化,就授权给他们了”。

那么,HoloKit 这玩意到底怎么样呢?一个成本 200 来块的盒子,对标 2 万多的微软 HoloLens。这事儿听上去靠谱吗?

和 HoloLens 比,到底怎么样?

[attach]802628[/attach]

按胡伯涛在知乎上放出的对比表来说,从 FOV 上,HoloKit 号称和微软 HoloLens 相比具备较强优势、清晰度也比较高。当然 Magic Leap 除了某几个记者见过以外,“还是传说”,并且效果很可能还没 HoloLens 好,就不说它了。

但不管 PR 上怎么说,首先,我们可以先把结论放在这里——“比 HoloLens 效果还好”肯定无从谈起,“效果”是个多元化的东西,是包括定位、显示、交互等多方面的综合产物。像国内外某些公司那样某几个参数比 HoloLens 高就堂而皇之地出来吹了,在 PPT 上无敌于天下,是很不好的毛病。

还是我之前那句话,微软倾世界最顶尖的人才,苦心经营了N多年,随随便便就被你创业公司超越了?就像一位业内说的,“那会是这个行业的耻辱”。

从实际产品可以看出,这玩意和一体式设备 HoloLens、要连电脑的 Meta 2 都不太一样,是需要插手机的设备。因此可以理解成,这是一款 AR 手机盒子。如果你不知道这是何物,可以把他认为是类似谷歌之前出的纸盒子 Cardboard 和国内一大堆 VR 公司做的产品,如小米 VR 玩具版等。

[attach]802629[/attach]

其实,AR 盒子也不新鲜:国内还有一家名叫 RealMax 的公司在做类似产品、以及光场视觉的 AR BOX,但这些在显示和定位效果方面都不能让人满意。Meta 前员工出来做的 DreamWorld 显示倒是还行,不过定位方案还没发出来。国外还出来过一个众筹的 Aryzon,虽然收了不少钱,但现在效果还不知道怎么样。

青亭网以前曾经揭秘过 AR 手机盒子的现状和国内很多产品粗制滥造的情况(走了 VR 又来了 AR 手机盒子,是真需求还是骗钱货?)。从笔者与业内人士交流的反馈来看,大多数人似乎对于 AR 盒子并不看好。

一位业内人士告诉青亭网,他看过国内两家 AR 公司的手机盒子方案,“效果都相当一般”,不过“也犹豫了很久,曾经想过自己做一款。毕竟便宜。”当时笔者最担心的是,这种较为廉价的 AR 体验,会不会让用户产生 AR 也“不过如此”的印象,从而伤害整个产业的长远发展呢?说白了,还是“显示”和“定位”两个核心问题解决的太糟糕。

那么,这两个核心问题,HoloKit 解决得如何呢?接下来让我们抛开成见,从技术方面来分析一下这款产品。

[attach]802630[/attach]

AR 手机盒子就要不得吗?

实际上,如果能解决好定位和显示的问题,则手机上的 AR 并非不可行。

君不见苹果也在 6 月初发了一个 ARKit?其实 ARKit 用的就是 iPhone 手机/iPad 上的 RGB 摄像头,但“定位”这件事儿它做得相当出色——在苹果实际演示中,虚拟物体非常牢固地待在桌面上,不会像某些国产的 AR SDK 那样,飘来飘去。

先说显示,HoloKit 的光学方案实际上非常简单,把 iPhone 屏幕上的画面通过一个镜子,再通过一个半反半透镜反射到眼睛里,就是一个镜面反射,类似潜望镜一样,其实光学方案和 Meta 差不多。国内不少的 AR 眼镜也是这么玩的,具体可以看青亭网之前的文章《特稿你不知道的 CES 真相:AR 眼镜,想说爱你不容易》。

[attach]802631[/attach]

从体验来看,HoloKit 的清晰度和 FOV 都比较大——这的确比起 HoloLens 那 34 度的视场角要大,当然这也不能苛责 HoloLens,他们光学方案天生就决定了 FOV 不能这么大,色差也的确会出现一定问题。

但半反半透这种光学方案的问题在于,真的太大、太原始、太笨重了,无论是 90 度 FOV 的 Meta、100 度的 DreamWorld 和各种手机盒子,都离我们想象中的“普通眼镜”形态的 AR 眼镜相去甚远。因此,未来的光学方案绝不会是这种形式的。

再说定位方案,HoloKit 的定位方案虽然还是有点略飘,但整体还算比较稳,效果可称不错。不过无论是苹果 ARKit 还是 HoloKit,都并非真正的 SLAM。从苹果放出的文档来看,其很大可能性是 VIO(视觉惯性里程计 Visual–Inertial Odometry)。

VIO 是用单目或双目摄像头做识别匹配和深度估计等,用惯性测量单元去做初始水平面估计和 3 自由度,最后再用一套算法做拟合,当然,这套算法本身的难度是非常高的。

VIO 勉强可以理解成是一种模拟,而非真正地像 HoloLens 那样对周围环境进行识别和重建完成 SLAM,在这方面 HoloLens 是无敌的,但拿手机和它比是不公平的——

SLAM 对于手机的资源来说是巨大的消耗,基本不太可能在手机端实现。因此也就可以理解,为何目前 HoloKit 是实现不了遮挡的(即把手伸到虚拟物体上是没法把它挡住的),臣妾实在是做不到啊。

[attach]802632[/attach]

胡伯涛本人也很大方地承认了这并非 SLAM 而是 VIO。他的算法实际上也并非自己的,而是参考香港科技大学内部的论文,HoloKit 是基于后者开源的定位项目 VINS 开发。他本人则是负责把这套本身用于无人机的算法做到了手机上。他对青亭网指出,整个算法延时大概 30 毫秒。

不过,虽然定位和显示方案都受到一定限制,但 AR 手机盒子也并非那么不堪。在眼下 AR 眼镜还无法普及的情况下,手机无疑是让大众能够接触到 AR 最直观的设备。

我们可以想象一下,AR 手机盒子和手机上的 AR 相比,区别只是一个需要你举着手机看屏幕,另一个把手机放到头上,通过反射到你眼睛里看手机上的内容罢了。也就是说手机在这里代替了传统 AR 眼镜的微显示端。因此,如果产品不是太重、显示效果 OK、虚拟物体定位得很稳,“AR 手机盒子”完全可以作为真正的 AR 眼镜出现前的一种过渡方案。

笔者愿意相信胡伯涛所谓“希望更多的开发者接触到混合现实,启迪更多的人来创造混合现实未来”的初衷——这种廉价方案对于教育早期市场的确有积极意义。只要前提不是说“用 30 美元成本的纸盒子打造比 HoloLens 效果还好的混合现实眼镜”就完美了。

能不能做到安卓上?

[attach]802633[/attach]

那么,和苹果的 ARKit 相比,HoloKit 的算法如何?这方面胡伯涛也比较坦诚,他称 ARKit 的帧率要比 HoloKit 要强“一倍”,因此开发者可以选择自己喜欢的方案。胡伯涛一开始就把 HoloKit 开源了,开发者可以根据源码,自己进行二次开发。

只是,HoloKit 其最核心的技术实际上就是它的定位方案。如果离了这套算法,照我们上文的介绍,实际上本身硬件方面并无稀奇。

胡伯涛告诉青亭网,目前 HoloKit 还是只支持 iPhone 7 Plus 和 iPhone 6s Plus,并不支持一般的安卓机型。在实际开发中,他发现苹果手机的一致性非常好,调好一台设备基本就差不多了。而安卓的设备多种多样、眼花缭乱,每台手机的 IMU 和相机的参数都不一样,非常难标定,甚至同一款手机的批次不同,参数也不同。

[attach]802634[/attach]

现在虽然谷歌自己有一套基于 TOF 的 AR 平台 Tango,但是由于必须具备 TOF 模组,支持的手机非常有限,目前只有两台。在苹果本身 ARKit 来势汹汹的情况下,如果能把 HoloKit 的算法移植到一般的安卓平台,让非 Tango 的安卓手机也能使用,显然能够产生更大的潜力和更多的想象空间。

不过,这一要求对胡伯涛团队或许“要求过高”了。

目前,胡伯涛团队只有他一个人算是全职,另有一名叫朱凤元(音)的斯坦福同学算是兼职,“我们只有一个半人,实在没有精力做下去了。我们就把东西开源,把后续的工作留给开发者吧”。

HoloKit 在现场采用了一套国外较为有名的单目手势识别 SDK Manomotion,还有听说是从“淘宝上花 10 块钱”买来的手柄,展示了未来交互方式的可能。而国内进入 AR 领域较长时间的触景无限在网易发布会现场宣布,将会给 HoloKit 提供手势识别 SDK,交互 AR 游戏体验等。也许随着更多开发者和公司的进入,在未来还会有更多的交互可能性供选择。

[attach]802635[/attach]

网易的 AR/VR 布局?

网易人士透露:“Holokit 是首个让行业、开发者、用户低成本、低门槛进入混合现实中的一个好工具。开发者首次拥有低成本验证创意、快速试错的可能性;用户首次低成本便捷得购买及体验沉浸式感知。而且经过 HoloKit 积累的经验与产品,可以延展到将来更多更丰富的沉浸式体验去。”

此前,网易的手游《阴阳师》就曾经推出过一种 AR 玩法,虽然只是较为简单的图像识别召唤游戏内的“式神”。而腾讯、支付宝等大公司也在积极布局 AR 方面的游戏,如阿里就曾经推出过 AR 躲猫猫,QQ 也出过 AR 火炬之类的营销计划。因此有业内人士猜测,网易手握游戏 IP,通过 HoloKit 可以布局其未来 AR 游戏的商业化。

据说,网易内部对于 VR/AR 领域一直较为重视,战略是丁磊亲自定的,他也多次在公司内部会议强调其重要性。资本领域,网易走的是高端化路线,曾经投资过 VR 直播巨头 NextVR 和触感技术公司 AxonVR,还投过一家叫 UploadVR 的媒体等。

去年 8 月份,网易 CEO 丁磊在参加某活动的时候,曾经公开表示,公司内部 VR/AR 的游戏都已经有了。

[attach]802636[/attach]

网易在看到 HoloKit 的项目后就觉得挺感兴趣,希望能把这款产品引进国内来,而本来就开源的胡伯涛对此也乐见其成。网易称,这个项目的目的是帮助教育早期的 AR 市场,“其实没指着它挣钱”。

至于胡伯涛,他现在已经把这款项目抛诸脑后了,下一个项目,他希望能基于 HoloKit 的技术搞一款博物馆的 AR 项目。“我们是新媒体艺术工作室,对自己的定位是艺术家,做作品的,不会停留在一个项目上。”

其实,国内有人已经拿了 HoloKit 的方案出去融资,甚至号称融到了几百万元。不过,对此胡伯涛只是一笑了之:

“也行吧,我其实对这个感觉还好吧,反正我就是玩。别人业化要基于开源协议的,非要违反协议我们也管不着,可能网易可以管吧。”