据外媒报道，机器智能可以说是微软研究院的核心研究内容。Bing技术支持的Cortana就是当中一项成果。Project Oxford则能够深入研究所有类别图像和声音识别。现在，微软研究院又跟卡内基梅隆大学展开合作，打算教会机器更深层次的图片分析能力，让它运行起来更像一个人类。
目前使用的这套系统已经具备了自动为图片添加文字说明的能力。但这仅仅是第一步，因为文字说明无法就一特定的场景给出语境描述。
新系统则将这部分的能力更进一步发展，通过结合计算机视觉、深度学习和语言理解功能，它可以识别某个场景下的各个元素并明白它们之间的关系。打个比方，将这套安装在一辆自行车上，通过对周围环境的不断评估然后提出一些跟人类骑车者相关的问题，如“我的左边是什么”、“会有自行车从我左边经过吗”、“我周围是否有跑步的人在而我没有看到”。随后，这些问题都会得到对应的答案，并作为建议提供给骑车者，这样就能避免事故的发生。
这项技术面临的最大挑战就是如何模仿人类大脑使用语言描述视觉信息并对其作出反应。一旦能够开发成功，它将能在许多领域找到应用之地，像医疗诊断、无人驾驶汽车、无人机。
团队已经发表了一篇关于这套系统的研究论文，相信对于任何一位对机器学习和自然语言处理感兴趣的人一定会发现它非常值得阅读。