第7章 AI现身

张九问认为孔祥东一个人搞不出强人工智能原因无他，代码工作量太大了，以孔祥东一个人的力量根本不可能在短时间内完成这种项目。

“那个……经理，绝对不会出问题的，这个程序我加了最底层的规则，所有代码的执行都躲不过这一条件，AI绝对不会做出对人类不利的事情。”

一提到安全性问题，孔祥东立即来了精神，开始向张九问吹嘘AI的安全性：

“我设计的底层非常安全，在程序中是最高权限的存在，而且被封在了不可触及的底层，不可能被篡改！”

然而张九问只说了一句话就让孔祥东闭了嘴：“如果程序被停掉了呢？非运行状态怎么保证自身不被篡改？”

张九问所问的问题是非常重要、非常典型的一个问题，那就是没有不会被篡改的程序文件！

因为运行环境本身在某些情况下也是可以任意修改的，原有环境下是多高的权限都没有用。

举个简单的例子，有自己给电脑做过系统的朋友可能会有体会。

在正常操作系统下，有一些文件是无法人工删除或是覆盖、修改的，但是当你用光盘或是u盘起动winpe这类简易系统后，你系统盘内的一切文件都可以任意处置了，系统文件也根本没有受到应有的保护。

因为在当前的简易系统下，你电脑硬盘里的任何文件对其而言都不过是普通文件，无论进行怎样的操作都不会对当前系统构成任何影响，因此当前的简易系统会将其当成普通文件，并不会对其进行保护。

一句话：视而不见！或是也可以讲成一视同仁！

而且孔祥东所设计的程序按照其描述也不是完全没有问题，“绝对不会做对人类不利的事情”这条看着没有问题，实际上问题却非常大。

这玩意一个火车悖论就能让其无法做出判断，甚至根本不是简单的数量问题。

在火车悖论的基础上，我们可以进一步假设一下那个会死一个人的选项。这个人如果是个科学家或是医术高超的医生，总之他活下来可以救活更多的人，这样会使选择变得更加复杂。

这问题人类自己都搞不定，放给人工智能也许会演变成灾难。

扩展一下，如果要保护一群人而伤害另一群人呢？保护多数而牺牲少数，这类问题问样存在逻辑漏洞。

单个人类个体的能力是有限的，即使有所选择在很大程度上也只能停留在自己的心理层面。

即便付诸行动，其可怜的执行力所造成的危害也是有限的。

然而AI程序呢？就其远超人类的运算速度就让其有更充分的时间做出人类所无法做出的选择。

而且通过互联网AI可以操纵更多的机器设备，造成更大的范围的影响也不是不可能的。

总之，真正具备思想的智能AI将会是非常可怕的，至少潜在危险性很大。其即使是善良属性的也很难保证其不被利用。