如果人工智能走上正轨,很多哲学家和高科技创业者都认为可能会出现超越人类控制的疯狂行径。所以一些科研专家认为研发能够“中断”AI项目是非常重要的,并确保AI不能找到方式来阻止这个中断。由Google DeepMind AI实验室和牛津大学于2014年成立的科研机构在今天发布的报告(PDF)中提及正在创建能够控制AI程序不会脱离人类控制,换言之就是能够确保软件处于审查中的“大红色按钮”。
在这篇报告中写道:“这种代理将会时刻处于人类的监控下,而且在必要时候能够通过按下大红色按钮来阻止危及人类或者环境的行为,并确保这个代理能够在更安全的环境下发展。”伴随着越来越多的高科技公司涉足人工智能,AI领域的突破可能会以前所未有的速度前进,而在此基础上很多组织和非盈利机构已经研究确保AI具备积极的正面影响,而不会对人类造成难以控制的危险。