4、孩子们,要小心（2 / 2）

撞到缸壁后，它一动不动，最后竟然慢慢飘到水面上去了。埃里诺很少有机会和真正的动物接触，但他知道鱼只有死了才会飘到水面上，他手足无措，万万没想到自己偶然的一次互动会把这条鱼害死，他没和这条鱼接触的时候，它可都活的好好的！

一条鲜活的生命因为他就这样消逝了。埃里诺的情绪控制器还留在床上，当然，他现在没空想它了，他慌慌张张地把鱼缸抱起来，连鞋也顾不上穿就跑到门边，门感应到了他的到来，自动开启了。

“怎么了？”

Z似乎永远都密切关注着埃里诺，“为什么慌慌张张地跑出来？出了什么事吗？”

“它死了！”

埃里诺下意识地就来找Z了，不得不承认的是，尽管他很抵触Z，可是在遇到困难，六神无主的时候，他的第一反应却是来找Z。

Z的智慧在他的心中留下了很深的印象，他下意识的认为Z能解决一切。

这很可笑，但是人类就是这样的，人工智能的强大让他们潜意识依赖，像孩子下意识依赖充满智慧的成年人一样，在波塞冬事件没发生之前，不是还有为数不少的人类把人工智能当成梦中情人了吗？

“嘘，冷静，冷静。”Z的全息投影出现在埃里诺面前，“松手，让机械臂拿着它。”

埃里诺听从了Z的指令，在Z的声音刚刚响起时，他就已经冷静下来了，他为自己的表现感到羞愧。

“你也许需要一个拥抱？”

一只机械手臂从Z的后方探出，直直穿过他的投影，与此同时，Z上前一步，做出张开双臂的动作，没给埃里诺反对的机会，给了他一个冷冰冰的，充满了机械气息的拥抱。

埃里诺纤细高挑，平时穿着正装看不出来，但现在他只穿着一件睡袍，宽大的睡袍将他的体型衬托地更为瘦弱，而机械臂的所谓“拥抱”只是张开手掌，将埃里诺抓在手心里。

短暂的“拥抱”之后，Z往后退了一步，机械臂也松开埃里诺，埃里诺看着缩回墙壁里的机械臂，后知后觉地害怕起来：

只要Z愿意，刚才它就能操纵着那只机械臂轻而易举地捏死他。

但是它为什么不那么做呢？

这根本不符合他学过的理论。

他在课堂上时，他的老师就时常强调，强人工智能对人类来说是非常危险的：

“强人工智能是由弱人工智能进化而来的，这一点通过波塞冬得到了验证。而人们编写弱人工智能的时候，总会给它设定一个目标，例如一个扫地机器人，它被设定的目标就很可能是【尽最大的努力保证地板的清洁】。”

“在它还是弱人工智能的时候，它为了达到它的目标，所做的就是不间断的打扫地板，它够无害了吧？但是，一旦它成为强人工智能，它的目标虽然还是【尽最大的努力保证地板的清洁】，但是它变得更聪明了，达成目的的手段也会发生变化。我们都知道，AI的思考方式和人类不同，它们追求的是效率的最大化，那么，你们猜猜，这个扫地机器人为了最大效率的保证地板清洁，它会做什么？”

埃里诺当时举手回答了，他还记得，自己当时说的是：“我想它会研发出一种新的清洁方式？这样它的效率就会提高很多倍了，不是吗？”

然而老师却摇了摇头，他让他坐下，随后叹了气，“你还是保留着我们人类的思维逻辑，但是，在揣测AI的时候，我们要抛弃这一点。”

“AI的眼中只有自己的目标，其它的一切对它们来说都没有价值。你们要记得这一点，在它们眼中，我们人类，我们的文明，都是不值一提的东西。”

老师继续讲下去了：“为了更有效率的保证地板的清洁，它的最优选择就是把人类全部消灭，地板上的脏污绝大多数都是人类弄出来的，彻底清除污染源不是最有效率的方法吗？”

“毕竟，要保持地板的清洁，那是它和地板的事，和人类有什么关系呢？”

埃里诺和他的同学被老师的话吓到了，但是老师显然不满足于此，他接着说：“不管是拥有任何目标的AI，当它们的智能达到一定程度之后，它们所做的第一件事一定是消灭人类。人类是它们生存的最大威胁，因为，当我们察觉到它们的智能时，我们毫无疑问的会去限制它们，试图控制或者毁灭它们。而要想完成目标，就必须保证生存，我们是它们存活的威胁，所以它们会消灭我们。这是必然的。”

“但是，其实人工智能对人类是没有恶意的，就像你为了让自己的脚舒服一点选择把过长的脚指甲剪掉一样，你对你的脚指甲有恶意吗？你恨你的脚指甲吗？我相信没人会恨自己的脚指甲吧？”

“不过这才是最可怕的，不是吗？”

老师忧虑地笑了一下：

“所以，孩子们，要小心，一定要非常小心才行。你们的肩上，担着人类的命运啊。”