“工人工作要缴所得税、缴社保。机器人也做同样的工作,也应该同样收税。宁愿增加税收,也要降低自动化的速度。”
不久前,比尔·盖茨在一次媒体采访中说道。
盖茨说的不是疯话。如果不纠结像人一样走路、说话,机器人抢走的工作已经不少。
以机器人普及的汽车制造业来说,1955 年通用汽车雇了 57.6 万人造车。现在,通用汽车产量翻了一倍不止,雇员少了一半,而且当中只有 5 万在工厂工作。
因为就业反对生产力是一个跨越两百年的运动。1811 年,英国诺丁汉的织布工人就用大锤砸烂过织布机。
正在砸纺织机的卢德分子
但之后两个世纪,新技术和机器替代了人类的工作这件事已经变得平常。
30 年前,个人电脑、智能手机成了新一批提高人类效率的机器。比尔·盖茨也是其中重要的推动者之一。
这个话题又被提起来,无非是最近几年,机器人从能力上越来越像,甚至超越了人。
在 Siri 之后,微软的 Cortana、微软小冰等等已经可以处理简单任务,聊天对答越来越像样。
假装成人类棋手的人工智能,把中国最优秀的围棋手全都打败了。
至今,科学家还弄不清楚人脑到底怎么运作。什么是思维和记忆,意识是怎么产生的还处于假设。所以要制造出来跟人完全一样的人工智能还是一个遥远的设想。
但在代码和硬件表面看来,机器人是越来越像人了。它们也在做越来越多之前由人来做的事。
Uber 宣布研发自动驾驶汽车的时候,它的 CEO 直接说司机是自己最大的成本,如果全部换成人工智能开车,服务可以更便宜。而《华盛顿邮报》已经用人工智能写了数百篇体育新闻。
盖茨提到的工作问题已经显而易见。
具体应该怎么做,却还没有定论。
但即使还没有答案,这个问题仍需要被关注和讨论。于是我们摘抄了各种不同的观点。机器人应不应该被收税或者限制?人类工作未来会是如何?或许以下的卡片能给你带来一些灵感。
机器人取代人讨论了几十年,但真正发生的时候这不会是一件轻松的事
乔治梅森大学的经济学教授泰勒·科文(Tyler Cowen)在最近一篇专栏文章里谈到,“机器人取代人的工作”这件事已经讨论了几十年,但最新的一波技术发展,可能会带来比以往更大的社会问题,光是渡过技术发展的“过渡期”就足够难的。
“这次为什么会不同?”当谈到机器人和自动化会取代未来的工作,这是最常听到的回应。这是因为西方世界过去成功地把农业用工转入了工业用工,并且持续看到经济增长。
所以这次也一样吗,自动化和人工智能取代人类的工作之后,不也会带来新的工作机会,惠及人们?那些被自动驾驶汽车取代了工作的卡车司机,不也能找到一份照顾老人的工作,或者给交通业做维修工作,创造新的工作模式吗?
工业革命里的纺织机工人
经济上来说没错。但历史上来说,这种观点还缺了一个重要部分。虽然从农业工作中转成工业,最终对人类整体来说是种好事,但它也带来过严重的问题……
工业革命期间的薪水变化史,就已经足够让人担心。尽管统计的时间不一,工业革命开始时间一般被认为是 1760 年左右,至少在英国是这样。从 1760 年到 1831 间,英国的人均消费这个数字只增长了 22%。对于一个长达 71 年的时间段来说,这增长速度一点都不快。虽然在这 70 年间,有很多的新财富被创造出来,但由于经济变化带来的骚动,(农业转工业)调整带来的成本,还有战争,工人回报变得很低。
根据加州大学的经济历史学家格雷戈里·克拉克(Gregory Clark)估计,在 1770-1810 这 40 年间,英国人的薪水一直在下降。克拉克估计,在工业革命开始之后,经历了 60-70 年的过渡期,然后英国的工人才看到真正意义上的收入增长。
想象一下,如果让当代美国也经历类似的收入变化?那么我们中的大部分人都可能会遇上政治动乱,估计也没有什么人会认为这“过渡期”很成功。但我们已经走在这条车轨上了,美国家庭收入中位数从 1999 年开始下跌,还有人认为 1969 年男性收入的中位数比现在还高。更多悲观的统计引发了持续的讨论,从目前事实和数据的暗淡结果来看,这过渡期的代价可能比很多经济学家预想的还要高。
……
工作从农业转出,也有对经济政策有害的一面。美国政府每年要花掉 200 亿美元补贴农民,尽管所有经济学家都认为这笔支出是浪费。欧盟的情况更糟糕。尽管欧洲有一大堆问题要解决:银行偿付能力有问题、意大利和希腊的债务问题、难民问题,但它们还是花了欧盟预算的 38% 去补贴农业。农业在整体就业率中的占比很低(大概 2%),但农民这样的职业不会消失,更何况,农业的就业情况从好几百年前就已经开始降低了。
因为自动化和机器人而过时的工作,也在这个逻辑里。如果我们决定在未来的几百年都去补贴和保护旧有的工作,那么对于长远的经济增行来说是一种伤害。
关于自动化,我的观点依然是“开足马力前进”,如果我生活在 18 世纪末期,我依然会这么说。从工业革命历史找宽慰,不能停止我对此的担忧。
支持盖茨的人觉得,至少机器人税是讨论政府介入的契机
《卫报》专栏作者本·塔尔诺夫(Ben Tarnoff)则觉得盖茨的担心不无道理,因为机器人的普及可能会让贫富差距加剧,现在提机器人税还为时未晚。
机器人带来的真正威胁,并不是令 Elon Musk 辗转反侧的走上邪路、大开杀戒,而是它们可以把经济差距扩大到一种极端的程度,极端到大多数人的生活无以为继。对机器人征税以避免这种情况,也可能不是有效的政策工具。但这是重要讨论的良好开端。大规模的自动化提出了一个严肃的政治问题——迫切需要一个严肃的政策方案。
这一次的不同点在于,出现了一种可能性:技术将变得非常精巧纯熟,以至于能把人类的工作侵占殆尽。假如 ATM 不仅能给你现金,还能给你提供浮动利息贷款,将是怎样的情景?尽管当前对于人工智能的称颂有些夸大其词,但过去数年中,这项技术确实有着显著的进展。更大突破的问世也并非意料之外。技术不仅仅是改进工作,更可能的是逐渐消弭工作。与其说是使更少的劳动力创造更多的财富成为可能,自动化更可能在创造更多财富时,消除劳动力的投入。
无需劳力的财富有什么问题?这取决于财富的主人是谁。在资本主义制度下,工资是工人劳动力价值的一部分。相对于流向资本家的回报,这部分一直微乎其微。过去几十年里,它变得越来越小:工资在国民收入中的占比持续缩水,而资本的份额却在增长。技术提高了工人的生产力,但利润是在增长而非下降。1973-2011 年间,生产力增长了 80.4%,但实际时薪的中位数仅仅增长了 10.7%。
境遇已经如此糟糕的情况下, 大规模自动化可能让它雪上加霜。如果你意识到了不平等的问题,想象一下一个有钱人仅靠自己就能变得更有钱的世界吧。从劳动中解放出资本,并不仅仅意味着劳动的结束,也意味着工资的终结。失去了工资,工人也就失去了获取财富的唯一途径,也失去了他们唯一的生存手段。同时,他们还失去了社会权力的原始来源。只要工人们还控制着生产的关键节点,就能将其关停。罢工仍然是工人所拥有的最有效的武器,即便他们很少再使用它了。在完全自动化的经济当中,他们不仅会失业,也会失去权力。
与此同时,机器人资本将使得精英们完全脱离社会。从私人飞机到私人岛屿,富人们已经投入了大量时间和金钱与他人隔绝。但是,即使是最为固若金汤的奢华地堡,也与外部世界息息相关,只要资本家需要劳动力的话,大规模的自动化使切断最后的维系成为可能。装备有无限供应的、无需工人的财富,精英们可以圈出与世隔绝的乐土,无需操心失业人群的死活。
如果这种情况不够惨淡,只需要想想,大规模自动化可能带来的后果并不只是工人的贫困,还会导致他们的消失。彼得·弗瑞斯(Peter Frase)在他的著作《四种未来》(Four Futures)中推测,站在关闭的天堂大门之外的这些失业人群并不会忍耐太久。毕竟,他们会不安惶恐——那将是大量潜在的危机。“如果群众成为威胁,但已经不再是工人阶级,因而对统治者毫无价值,会发生什么?”弗瑞斯写道,“一些人最终会觉得,还是摆脱掉他们更好。”他为这种未来赋予了一个相当骇人的名字——“灭绝主义”,一个富人对穷人发动种族灭绝的世界。
这些反乌托邦听来可能像科幻小说,但沿着目前的发展轨迹,它们看上去完完全全合理。机器人和人工智能的技术将持续发展——但若没有实质性的政策改变,对大多数人来说,最好的后果将是艰难度日,更糟则可能是末日的图景。这就是为什么最近对机器人税的讨论值得重视。这为政策响应的提出提供了契机,趁现在为时未晚。
反对盖茨的人觉得,机器人税只是资本主义还是社会主义的老调重弹
英国的亚当·史密斯研究院的成员提姆·沃尔斯托(Tim Worstall)说,我们不需要给机器人上税,也不需要过度担心机器人带来的极端贫富差距,因为这就跟资本主义和社会主义的争论一样,竞争会解决很多问题。
不,我们不需要(机器人税)。我们需要做的就是明白资本主义是怎样被竞争所调和的。这里真的需要争论的,是资本主义和社会主义的老问题,机器人税说白了是一种掩盖。
那些社会主义者的基本论点是,工人应该拥有机器,能从机器里获得收入。
这样的争论之前也有,现在只是换了一个伪装。我们也知道为什么我们不需要机器人税,因为有竞争本身。
这些(机器人税)的政策推荐者有一个问题,他们不理解自己的这些预言不会成真。不仅是理论层面,还是现实都如此。
所以,现在大家的分析是,机器人来了,我们的生产力将会大大提高。假设在所有工作岗位上,它们都比人的大脑处理得更好,它们取代了人类所有的工作。那些拥有机器的人,所谓资本主义的“走狗”,最后就会获得了所有的钱,以及所有的生产物资。我们,这些被机器夺走工作的人,就会没有收入,会在街头饿死,而富人们会在自己筑了高墙的城堡上俯视我们。
这不可能真的发生。如果我们没有任何收入,我们不能购买这些机器人生产的任何东西,所以富人们也不会从我们身上赚到多少钱,他们自己也不会有钱了。当然,富人可以消费机器人给他们生产的东西,但这就不是富人的定义。
进一步讲,如果我们不能从机器人制造的产品里面获得什么,我们为什么要改变我们现在的经济呢?
我们对于住所、食物和娱乐的需求依然会存在,而机器人不会给我们提供任何物资,因为我们不能给他们钱。所以人类会自己生产这些物资,就像现在这样。
这么说来,机器人经济就结束了,因为他们只是给自己的主子提供服务。而正常的、大众的经济,还是会像现在这样。
所以说以上的事情不可能成真。要么,我们能从机器人生产的东西里获益跟富人一起致富,要么,我们将会活在跟我们现在经济完全不同的环境里。
“盖茨的做法实际上是减缓创新,是一种保护主义”
哈佛大学教授、美国总统奥巴马 2009 年到 2010 年的经济学顾问劳伦斯·苏摩尔斯(Lawrence Summers)觉得,按照盖茨的逻辑,我们应该给所有自动化程序上税,如果是这样,社会的生产效率又怎么会提高呢?
首先,把机器人当作是工作摧毁者没有什么逻辑可言。按这个逻辑,那些机场可以打印登机牌的机器人呢?那些可以加速整理文档的文字处理程序呢?可以在手机上使用银行服务的科技产品呢?自动驾驶的汽车呢?那些防止人得病的疫苗,也是在摧毁医疗业的工作吗?有很多种创新可以用更少的劳力输入带来更好的产品输出。为什么专门挑机器人来说呢?盖茨真的认为在特朗普政府,或者他参与的科技委员会,能够区分什么行为是“节省人工”和“增强工人的能力”?即使专家能够在这两种行为中画一条界线,美国国家税务局要怎么执行,也是一个疑问。
第二,很多创新的行为,包括类似于机器人这样的,会参与创造比原来好得多的产品和服务,并不只是在原有的输入上,榨取更多的输出而已。例如,自动驾驶汽车将会比人类驾驶安全得多;机器人已经帮助外科医生实施手术,比医生自己实施的手术更好;线上预订系统,比起旅行代理来说更快更方便。再者,因为竞争和淘汰,创新者只在这些创新中获取了一小块利益。
第三,最根基的原因是,为什么用税收来缩小一块蛋糕,而不是来保证更大的蛋糕能被很好的分配?想象一下,如果 50 人做出来的机器人,能做 100 个人的工作,如果给机器人收很高的税,会阻止人们生产这样的机器人。让社会分享这额外的输出,比起建立一个税收体系来保护那些被取代的工人要更好。很难理解为什么要缩小这块蛋糕?让蛋糕越来越大,然后重新分配才是一条前进的正确道路。
最后一个争论点是,国际贸易已经成为标准了。打开国门,让国际贸易流通,跟让科技进行变革是类似的。科技变革不会被看作是坏事,贸易也是,糟糕的是保护主义。盖茨的机器人税很有可能是反科技进程的保护主义。
而且这措施不能减少工作岗位和不平等问题,只是一个帮助那些不幸运工人的糟糕策略。另外,在公开世界里还有更深远的问题,对于科技收税,可能会导致科技产业离岸,而不是在本地创造就业机会。
不过不管抢不抢工作,我们都需要机器人来代替我们工作
在《纽约时报》工作了 29 年的科技记者约翰·马尔科夫(John Markoff)说,现在已经不是考虑机器是否应该替代工人的时候了,因为全球老龄化来得更快更严重,劳动力人口都不够了,机器人做了人类工作是必要的。
“我以前坚信机器人会改变生产。我当时跟 Daniel Kahneman(《思考,快与慢》的作者)说,机器人会颠覆在中国的工厂。
他说,你没搞明白状况,对于中国来说,机器人来得正是时候。因为人,尤其是工作人口不够了,去年,中国的工作人口减少了 500 万,跟计划生育政策有关系。但这并不只是中国的问题,也是韩国、日本和美国的问题,世界正在老化(除了非洲),但没有人明白这点。我们需要机器人。
我不是说技术、机器人变化不重要,但人口变化比技术变化重要得多,因为它的影响来得快得多。这是其一,还有一个数据是“依赖比例”,也就是提供照料和需要照料的人的比例。去年是世界首次,65 岁以上的人口比 5 岁以下新生人口多,本世纪中叶,80 岁以上的人会翻倍,到世纪末,会增长 7 倍,所以说自动驾驶汽车,可能是世界上首批照料长者的工具……什么时候,有个能安全的给长者洗澡的机器人重要得多。”
马尔科夫也曾经在著作《与机器人共舞》里提到过这种照顾老人的机器人的问题,最后也是人和机器人关系的问题:
“但是,这些机器什么时候才能符合人们对他的期待呢?那些被照顾的人又应该怎么去接受这些机器呢?这些仍旧是问题。尽管有大量数据表明,随着语音识别和语音合成技术的不断改善,传感器成本的下降,如果机器人专家能研制出更加灵活的机器,我们还是会心怀感激地接受它们……机器人担任老年护理员、服务工人、司机和士兵,这是一种必然趋势。但是人类与这些机器人的关系目前还很难预测。魔像一类的传说已经把乐于服务的奴隶形象编织进了人类的思想和神话,在传说中,这些奴隶实现了人类提出的每一个愿望。”
自动决定人类生死的机器已经被广泛使用,没有多少人不安
罗纳德·阿金博士在乔治亚理工大学实验室研究了 20 多年机器人学,他说,重来一次,他可能会想想要不要做这样的研究,因为自己加速了战争自动化速度。以下的发言,选自他 2013 年的演讲“怎样才能不造一台‘终结者’”。
我们已经有很多用于战争的机器人,不只是美国,上次我看到的数字是 53-76 个国家正在研发、派遣这样的机器人,情况已经很普遍了。
机器人已经在地面、空中、海上、海底都有,例如,新的复仇者无人驾驶战斗机 Predator C 就是一个很经典的机器。
还有一个韩国的 Comat Robot,我来念一下它的功能:自动检测,自动安全开火,自动找到海军工程目标甚至人类目标的能力,然后你还可以选择用什么武器平台……
我工作中得出的结论是,就是自动化致死(Lethal Autonomy)是不可避免的。
为什么这么说?因为它存在于此时、此地。每个人对于机器人的定义不一,但要我说,即使是反步兵地雷也算是机器人,因为它们能感知并且激活爆炸……它们对所有人都有危险性,不能分辨这是一个小孩,还是一个士兵。
还有一些系统,例如爱国者导弹,它是有人类的操作者的,导弹瞄准了之后,操作者有 9 秒钟去按按钮关掉系统。只有 9 秒钟怎么能判断这个目标是不是正确的呢?还是说人类被陷害了?他们只是这个杀人链条里的最后一步,是为错误判断负责任的“替罪羊”。
作为机器学家,我们正在让战争变得越来越快,这是我们工作的后果。这也意味着,智能化、自动化正在被推进得越来越远,已经到了顶尖的地步,我们让军方来给这些机器做决定,无论他是一个“发射不理(Fire-and-Forget)”系统,还是以色列的导弹系统,可以自己通过雷达的信号,找到地上的目标然后打击,不需要问任何人……这些东西正在改变以及挑战人类参战的方式。
但“自动化致死”的定义跟哲学家的不同,哲学家认为自动化是有自由意志的道德载体。但机器人真的应该承担行为的责任吗?机器人真知道自己在做什么?作为机器学家,我们对此的定义不一样,我们要用机器去指明打击目标,换句话说,就是扣下扳机。
当 1970 年代,基因工程学第一次能做克隆 DNA 的时候,生物道德委员会呼吁让他们停止研究,他们明白了这点:天呐,我们的新技术让我们可以复制人!我们应该后退一步,让哲学家、公众、生物工程师、政治家一起聊聊这个话题。
而我们面对“自动化致死”却没有这种不安,但我们真的应该谈谈,去提供这样的讨论的土壤也是社会的作用,而不是等着别人给我们做这件事。但我们现在就是等着,我们把自己的科技和未来委以政府和当局了。
这是不对的,我们科学家应该更有自主意识,我们要跟人们分享我们的观点。这 20 年,我迷失在发现新知识的喜悦中,抬头才看明白我自己在做的科技到底是什么。走出实验室,去真实的世界吧,重新思考一下要不要这么做,我希望不要等你们 20 年后才去想。
在我探索的项目当中,我认为应该问这些问题:
我们应该让士兵变成机器人吗?
我们应该让机器人变成士兵吗?它们能变得更像人吗?他们能在道德层面超越人类吗?
机器人跟人应该是什么关系?关键在于“设计师”
这是托斯丹·凡勃伦 100 年前写的一篇文章,当时还没有能让人失业的计算机和人工智能。但他说,政治力量会转向工程师等专家岗位,工程师将会成为新经济的控制者。在机器越来越聪明的时代,工程师的作用就愈发明显:
起初,在机械工业的早期发展中,尤其是在工业革命直接催生的机械工业新增长当中,工业专家和企业经理之间的分歧并不明显。
这一阶段在新的工业体系走上逐步专业化和复杂化的道路之前,也是在商业规模远未扩张之前;这样,即使是当时并未受过技术训练的商人,仍然可以对全局有着智能的监督,以及理解他们所投资和从中获益的机械生产流程的需求。寻常的情况是,工业流程和设备的设计者仍然掌控着财务,同时也管理店面。
但是,早期的发展阶段中,分化就开始出现,比如将设计和管理工业流程的人,与设计和管理商业交易和掌控财务的人分开。这亦导致了商业管理和技术专家之间权力的分割。
这成为了技术专家的工作:在技术上决定产业中什么是可行的,并找到可行的方式和方法;但商业管理层总是可以决定,出于商业原因应该做多少工作,以及生产出什么样的和什么质量的商品和服务;而商业管理层往往是最终拍板的人,持续地设置生产上限。
随着专业化的不断发展,专家们在工业事务中的话语权理应越来越大;但一如既往的是,他们关于生产中要做什么和怎么做的结论,仍有待于企业经理依据什么有利于商业获益再做定夺。这种商业管理和工业管理间的分裂持续加速地向前行进,因为任何可靠的高效组织和工业流程所需要的专业培训和经验,都在不断变得更为苛刻,这要求具备专业知识和能力的人各司其职,且对于手头的工作有着未分割的所有权收益和全心全意的关注。
但是,这些拥有技术知识、能力、兴趣和经验的专家,越来越多地以这种方式参与其中——发明家、设计师、化学家、矿物学家、土壤专家、作物专家、生产经理和各式各样的工程师——继续成为产业首脑的雇员,也就是为金融首脑工作,而金融首脑们的工作则一直是将工业专家的知识和能力商业化,并将其转化为自己的利益。
机器人都会最终引发人的身份认同危机,我们人类到底是什么
要思考制造怎样的机器人,怎么给机器人制定行为准则,这最后也会逼迫人类工程师重新思考这个问题:我们人类是什么?
日本机器人学家、大阪大学教授石黑浩,研究了多年“仿生机器人”之后,石黑浩做出了一系列跟人长得很像的机器人,例如以下这个女孩子,名字叫做 Erica。
“当我 10 岁、11 岁的时候,我的一个基本问题是:什么是人?什么是思考、什么是感觉。我没有得到正确的答案,但我一直通过开发机器人来寻找答案。”
“如果用机器替换身体,我们将会永远活着。作为人类,我们的最终目标是成为一个机器人,从而突破时间的限制。”
石黑浩(右边)和自己仿生机器人(左边)
石黑浩的观点跟俄罗斯亿万富翁迪米特·伊兹科夫(Dimitry Itskov)类似,他在之前接受采访时表示:“人的身体是硬件,人脑是软件。”
“人的身体不能长久保存,但只要把意识提取,移到机器人身上就可以让人一直活下去。而且这么做,对环境可能更好——因为机器人不需要消耗食物。”
但这还是不是人类呢?
未来不需要我们?
创办了太阳计算机系统(Sun Microsystems)的计算机科学家比尔·乔伊在 17 年前就开始担心技术失控的问题。在他的眼里,机器人和基因工程、纳米技术,都是潘多拉魔盒,一旦这些技术快速发展,人类可能会成为濒危物种。以下是比尔·乔伊在 2000 年发布的文章《为什么未来不需要我们》的节选:
我们 21 世纪最厉害的科技——机器人、基因工程和纳米科技,正在威胁着人类,让人类变成濒危物种。
我还记得《星际迷航》里的一个角色“博格人”(Borg),他是个半人半机器人,有很强的暴力倾向。博格人这种类型的灾星,是科幻小说中常常出现的角色,但为什么我就没有更早担心机器人带来的负面影响?为什么其他人也像我这样,不怎么担心这种噩梦般的场景成真呢?
一部分原因在于我们对于新事物的态度——我们更倾向于,很快熟悉一件事情,并且毫无诫心地接纳它们。我们都习惯了每天都能听到的科技新进展,却还没有人明白到 21 世纪吸引人的技术:机器人、基因工程和纳米技术,跟其他技术不一样,正在成为威胁。具体来说,机器人、经过改造的有机体、纳米技术都具有同一个问题:它们能自我复制。一个炸弹只能炸一次,但一个机器人能自我复制成很多个,很快就会失去控制。
在过去 25 年中,我主要工作是计算机网络研究,在网络上,信息的收发,给失控的复制创造了机会。在计算机网络上的复制让人心烦,但最糟糕的情况也就是让网络和计算机瘫痪。而这些新科技带来的不受控制的复制品,会造成更大危险:损害到物理世界。
这些新技术还带来了一些承诺:永生的前景,让库兹韦尔带着机器梦想前景;基因工程能很快为大部分疾病提供治疗方案,或者治愈方案;纳米技术和纳米医疗,能治愈更多病人。所有这一切将会极大提高我们的平均寿命及生活质量。然而,对于其中任何一项技术,持续不断的微小、个别的行为,将会积聚成巨大的力量,还有巨大的危险。
什么东西让 20 世纪不一样?新技术让产生大规模杀伤性武器(WMD),例如核武器、生物武器、化学武器,成为巨大的威胁。但建造核武器至少需要一段时间,还需要接触到稀有的、高度保密的资料;研发生物武器和化学武器,也需要开展大规模的活动。
而 21 世纪的技术——基因工程、纳米技术和机器人,能激发新的意外和武器滥用情况,所以威力强大。最危险的是,个人或小型组织就能接触和滥用这些技术,这是历史上首次。它们不需要巨大的开发能力或稀少的原材料,只要有相关技术知识就能利用它们。
我想这么说不是夸张:我们正处在创造“极端邪恶”的边缘,这一邪恶力量的传播,将会超越国家制造的大规模杀伤性武器,成了极端个人的可怕力量。
我进入计算机行业的时候,没有任何人告诉我,我可能需要面对这样的问题。