最近,Google Brain 的研究工程师 Eric Jang 在 Quora 上回答了“IBM、谷歌、Facebook、苹果和微软等几家公司里,谁在领导着 AI 研究的发展?”(Who is leading in AI research among big players like IBM, Google, Facebook, Apple and Microsoft?)这一问题,短短时间便获得了超过 4000 的阅读量。之所以获得这么广泛的关注,一方面是因为 Eric Jang 犀利的行文风格,也因为他直接对原本 Yann LeCun 的回答做出了反驳。
以下是 Eric Jang 对这几家公司的排行,由雷锋网进行编译。
首先,我的回答包含了一部分偏向性,因为我目前在 Google Brain 工作而我真心喜欢这里。我的观点仅代表我个人,并不代表我的同事和 Alphabet 公司的立场。
我把题目里提到的这几家“AI 研究领导者”做以下排序:
1、 Deepmind
我认为 Deepmind 很大程度上是如今的第一名。
他们发表的工作成果受到研究圈的高度重视,而且都涉及到了非常顶级的议题,比如深度增强学习、贝叶斯神经网络、机器人学、迁移学习等。他们从牛津大学和剑桥大学吸收了大量人才,这些学校在全欧洲有着很多非常棒的机器学习初级课程。Deepmind 打造了一支多元化的团队致力于通用 AI 的研究,里面既有传统的软件工程师来构建基础架构和工具、UX 设计师帮助建造研究工具、甚至还有生态学者(Drew Purves)来研究更具有深远影响的议题,比如地球生态和智能技术的关系。
Deepmind 在 PR 和抓住公众想象力方面,也是无人能出其右。比如用 DQN-Atari 和创造历史的 AlphaGo。一旦 Deepmind 有论文发表,往往都会登顶 Reddit 的 Machine Learning 板块和 Hacker News 上,这恰好佐证了他们的工作是多么受到科技圈的重视。
2、谷歌
是的,我把两家 Alphabet 旗下的公司放到了排行的前两名,在你对我翻白眼之前,我想说一下,其实我也把 Facebook 和 OpenAI 都放在了第二名。但如果你不想听我讲关于 Google Brain 的事情,往下翻就好了(笑脸)。
我对 Yann LeCun 是很尊敬的(他之前的回答也很不错),但是我认为他对于 Google Brain 在研究领域的评价是错误的。他说:
“但是谷歌主要关注与应用和产品开发,而不是长期的 AI 研究工作。”
这句评价绝对是错的,完全错。
TensorFlow(Google Brain 团队最主要的产品)只是 Google Brain 下属众多团队的研发成果之一,据我所知这个团队是唯一一个打造对外产品的团队。Google Brain 刚起步时的项目确实比较偏向工程,但是今天,Google Brain 有很多员工都是专注于长期的 AI 研究 ,而且是涉及所有可能的 AI 次级领域,这跟 Facebook FAIR 和 Deepmind 是类似的。
Facebook FAIR 有 16 篇论文被 ICLR 2017 大会接收,其中有 3 篇被选为做现场论文展示。
而实际上,Google Brain 被 ICLR 2017 大会接收的论文数量还略略超过 Facebook FAIR,总共有 20 篇,其中 4 篇被选为做现场论文展示。而这并没有算上 Deepmind 和其它谷歌内部团队的工作(比如搜索、VR、图片)。论文接收数量并非一个很好的衡量尺度,但是我以此想反驳那些暗示 Google Brain 不善深度学习研究的暗示。
Google Brain 也是最具合作灵活性的业界研究机构。我想,世界上还不会有任何其他的研究机构,无论是工业的还是其他性质的机构,能与伯克利大学、斯坦福、CMU、OpenAI、Deepmind、Google X 以及众多 Google 内部顶级产品团队同时展开合作。
我相信 Google Brain 将很快位列第一流的研发机构。我曾经同时拿到 Google Brain 和 Deepmind 的 offer,最终选择了前者,是因为我觉得 Google Brain 能给我更大的自由来设计我自己的研究项目,并能保持与其它 Google 内部团队紧密合作。我还能参与一些非常有趣的机器人项目,当然这些项目我不能透露更多信息。
2、Facebook(并列第二)
FAIR 实验室的论文都很棒,我的印象是他们比较多地关注与语音领域的问题,比如问答、动态记忆(dynamic memory)、图灵测试类型等。他们偶尔也会有一些“数据物理与深度学习结合”一类的论文。显然,他们也做计算机视觉类相关工作。我希望自己能讲的更多一些,但是我对 FAIR 了解的确实不多,但他们的声誉是很好的。
由于 TensorFlow 的广泛应用,Facebook 几乎在深度学习框架之争中失败了。但我们还是要看看,Pytorch 能否抢回一部分市场份额。
2、OpenAI(并列第二)
OpenAI 有一连串的明星员工,比如:Ilya Sutskever(全面的深度学习大师)、John Schulman(TRPO 发明者,策略梯度大师)、Pieter Abbeel (发表了大量机器人学领域的研究论文)、Andrej Karpathy(Char-RNN 和 CNNs)、Durk Kingma(VAEs 联合发明者)、Ian Goodfellow(GANs 发明者)等。
尽管只是一支不到 50 人的小团队,他们也有一流的工程团队,而且发布了一流的、非常有想法的研究工具,比如 Gym 和 Universe。他们通过提供相关软件,为更广泛的研究社群带来价值,这些软件曾经掌握在科技巨头手里。他们的这种做法,也迫使其他研究团队开始开源代码和工具。
鉴于 OpenAI 与 Deepmind 都拥有的一流人才队伍,我原来还打算把二者并列第一,但是 OpenAI 成立时间不长,我还不能足够有信心将二者并列在一起。OpenAI 也还没与做出像 AlphaGo 一样成就的系统,虽然 Gym 和 Universe 对于研究圈来说也很重要,但也没有达到 AlphaGo 那样的高度。
作为一个小型的非赢利性研究机构,从无到有建立他们的基础架构,OpenAI 不具有像大公司一样丰富的 GPU 资源、机器人和软件基础架构。拥有强大的计算力,对研究能力有很大的影响,甚至有时对研究想法也能产生影响。
3、百度
百度 SVAIL 和 IDL 研究院是非常棒的做研究的地方,他们正在致力于多项具有潜力的技术,比如家庭助理、盲人广告和自动驾驶汽车等。
百度这家公司确实在声誉上面临一些问题,比如最近违反 ImageNet 竞赛规则的丑闻、低质量的搜索结果导致一个中国学生死于癌症以及被美国人刻板地认为是一家盲目模仿的技术公司。
但是,这家公司在中国的 AI 领域里,是最强的。
3、微软研究院(并列第三)
在深度学习革命发生之前,微软研究院曾经是最具有声誉的地方。他们雇佣具有多年经验的研究员,这一定程度上也解释了为什么微软研究院有点错过了深度学习,因为深度学习革命很大程度上都是由博士生推动的。
不幸的是,如今几乎所有的深度学习研究都是在 Linux 平台上进行的,而微软的 CNTK 深度学习框架没有得到与 TensorFlow、torch 和 Chainer 一样多的关注。
4、苹果
苹果在招人方面确实面临一些问题,因为研究人员都想要公开自己的研究成果。苹果也做一些产品驱动的研究,这并不能吸引那些想解决通用 AI 问题或希望自己的工作被学术圈看到的研究人员。我认为他们设计的根本也需要一些相应的研究,尤其是面临大胆的创意时,但是我也看到了发布新产品也会成为长期基础研究的一种阻碍。
10、IBM
我认识一个 IBM Watson 项目的前雇员,他把 IBM 的“认知计算工作”形容为一场灾难。该项目由管理层推动,而这群人根本不知道机器学习能做什么、不能做什么,只管拿着这个热词到处卖。据我所知,Watson 使用了深度学习来做图像理解,但它其余的信息检索系统并没有应用最新的深度学习技术。基本上,IBM 是面临着危机的,对于初创企业来说,在二级市场有很多应用机器学习的机遇。
备注
说实话,上面提到的公司(或许除了 IBM 之外)都是做深度学习研究非常好的去处,鉴于开源软件和整个领域的快速发展,我不认为任何一家科技公司能够以绝对的优势“领导 AI 研究”。
我对于未来的深度学习研究员的建议是,找到一个你确实感兴趣的团队/项目,忽略别人所说的声誉等条件,专注于将自己的工作做到最好,帮助你所在的机构成为 AI 研究领域的领导者。
Yann LeCun 的回答
下面是 Yann LeCun 关于此题的回答,原答案发表于 2016 年 7 月份。
我是有一定偏向性的(笑脸),但我可以说一说以下几点:
苹果公司不是 AI 研究领域的主要参与者,因为他们有一种秘密文化。你是无法在私密的情况下做先进研究的,如果你不能公布研究成果,这就不能算是研究,顶多算是一项技术开发。
微软正在做一些很好的工作,但它很多的员工都流失到了 Facebook 和谷歌。他们语音方面的深度学习做的很不错(在 21 世纪初,他们在手写识别方面做得很好),但相比于 FAIR 和 DeepMinde 的工作,微软在深度学习方面似乎没有太大野心。
谷歌(包括 Google Brain 及其它内部团队)或许是将深度学习投入产品和服务方面的领头者,这是因为他们比任何人开始的都早,也因为其本身是一家大公司。谷歌在基础架构方面做了很多工作(如 TensorFlow 和 TPU 硬件等)。但是谷歌主要关注于应用和产品开发,而不是长期的 AI 研究工作。Google Brain 很多顶级研究员都离开了原来的团队,去了 DeepMind、OpenAI、或者 FAIR。
DeepMind 在基于学习的 AI 方面做了很好的工作。他们的长期研究目标与我们在 FAIR 实验室的目标非常相近,而且我们工作的议题也都很类似,包括:非监督/生成模型、规划、增强学习、游戏、记忆增强网络、可微编程等。DeepMind 面临的挑战是,在地理上和组织上与 Alphatbet 内部最大客户分离。这使得 DeepMind 更难为其拥有者 Alphatbet 产生营收来“支付他们的行程”,不过看起来他们似乎做得还不错。
Facebook 在两年半前开创了 FAIR 实验室,并且想方设法在短时间内让自己成为 AI 研究领域的领导者。对于我们可以吸引到这么多世界级的研究员(现在 FAIR 在纽约、门洛帕克、巴黎和西雅图总共约有 60 名研究人员和工程师),我为此感到很惊讶。对两年半内 FAIR 研究工作的质量和影响力,我也同样感到印象深刻。我们对自己的目标雄心勃勃,我们准备好了长期竞争,我们对公司也具有影响力,这使得我们很容易证明 FAIR 存在的价值。最重要的是,我们是非常开放的:我们的研究人员每年发表多篇论文。如果一个有潜力的年轻研究员加入一个不那么开放的公司或初创公司,从此从研究圈子销声匿迹,没有什么比这种情况更令人警醒了。