第645章命运即为人所共愿（下）

一切种族与生命获得永恒的、不可剥夺的健康与幸福（当然，我们在实际操作层面并不是直接对许愿机这样要求的。正如前文所强调的，用未经严格定义的自然语言发布如此影响广泛的指令极可能会——目前的实践结果几乎是百分百会——造成灾难性的后果。没有严格定义意味着给许愿机过多的自主理解空间，而几乎所有种类的许愿机在面对“伟大愿景”时都似乎有一种共同倾向，它们在未受约束时选取的最简单方案通常是：消灭指令发布人，以及指令内容中所涉及的全部主体）。

我们当然不能让这些思考逻辑独特的机器们胡搅一气，但这的确是个既引起巨大迷惑，同时又非常令人沮丧的事实。似乎无论我们用什么形式的许愿机来执行，用任何一种文明曾使用过，正在使用，或预备使用的自然语言来索取永生，它们提供的第一解决都完完全全是指令的相反意思：死亡（除非我们事先限定不允许它们采取这种方案）。这究竟是基于何种机制而引起的反馈？这是否是在说，即便是这些被我们认为通往无限的机器，实际上在意识与生命问题上也并非真的全能？它们的反应是一种运行错误后的处理机制？“恼羞成怒”？这是可能的，但迄今以来，没有任何一台机器承认这点——我们的确试过对每一台注册过的机器进行了相关条件的预验证，我们询问它们假设提出这个愿望，它们是否会因不可实现而输出错误的结果，而，所有的机器都给予相同的反馈：它们能实现这个愿望，并且也不会输出错误的结果。那似乎是在说，在许愿机的思考逻辑中看来，“永生”与“福利最大化”都是“死亡”的同义词。

用自然语言来描绘“伟大愿景”是失败的，但迄今为止，通过机器语言来进行严格定义的尝试也仍未获得太大的进展。许愿机们仍然倾向于消灭许愿者，就好像这正是指令本身的意思。事情在此陷入了困局，因为生与死的差异是不言自明的，任何一个心智复杂到足以钻研许愿机问题的文明都能分辨出这两个概念是多么不同。如果许愿机的反应暗示着它们在本质上是一回事，这结论背后代表的事实已不可理喻，完全超出理解，或至少，将令我们彻底的绝对的难堪。它仿佛是我们自身无意义性的铁证，因而这一结论是我们最不愿意去做的。（从另一个方面来说，如果它是真的，那我们去考虑它似乎也就毫无意义了。）

尽管这个本质问题的

本章未完，请点击下一页继续阅读！第3页 / 共7页