近日，以“视频”形式出现在2017年全球互联网大会上的霍金，再次重复了“人工智能威胁论”。霍金说：“我认为近来人工智能的发展，比如电脑在国际象棋和围棋的比赛中战胜人脑，都显示出人脑和电脑并没有本质差别。”他甚至认为人工智能可能是人类文明史的终结，所以人类要学会规避这些风险。在演讲中，霍金详细指出了人工智能发展过程中短期和长期的风险。

    应该如何规避人工智能带来的风险呢？霍金在演讲中寄希望于政府和机构的监管。而近期，在一场演讲中伯克利大学的计算机教授斯图尔特·拉塞尔则从技术的角度提出了避免这一危险的手段。

    拉塞尔提出，在超级人工智能可能出现的时代，人类需要想想用什么样的规则先让人工智能为人类服务，而不是变成人类的敌人。关于机器人，所有问题最后应归结于教它们“怎么做决定”。当然，拉塞尔也坦言让机器人在很多人的利益中找到平衡点，目前还很困难，因为人类自己的行为都可能会崩坏，机器人想要学习就更难。

霍金：AI可能终结人类文明，除非我们学会避免危险　

    人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代，这将给我们的经济带来极大的破坏。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，文明所产生的一切都是人类智能的产物。

    由于这种智能是被人工智能工具放大过的，我们无法预测可能取得什么成果。但是，正如我说过的那样，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何从人工智能中获益并规避风险是非常重要的。

    现在，关于人工智能的研究正在迅速发展，这一研究可以从短期和长期两个方面来讨论。短期的担忧主要集中在无人驾驶方面，包括民用无人机、自动驾驶汽车等。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小概率的大事故和大概率的小事故之间进行选择。

    另一个担忧则是致命性的智能自主武器。它们是否该被禁止？如果是，那么“自主”该如何精确定义；如果不是，任何使用不当和故障的过失应该如何问责。此外还有一些隐忧，包括人工智能逐渐可以解读大量监控数据引起的隐私问题，以及如何掌控因人工智能取代工作岗位带来的经济影响。

    长期担忧主要是人工智能系统失控的潜在风险。随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统会威胁到人类。这样的结果是否有可能？如果有可能，那么这些情况是如何出现的？我们又应该怎样去研究，以便更好地理解和解决危险的超级智能崛起的可能性？

    当前控制人工智能技术的工具（例如强化学习）以及简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。

    当我们的头脑被人工智能放大以后，我们更不能预测我们能取得什么成就。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害问题，关乎到我们生活的各个方面也即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。

    但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。我相信我们会团结在一起，共同呼吁对国际条约的支持，或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。

    拉塞尔：给人工智能的逻辑里装上“不确定性”。人类给机器设定的“单一目标”未必是我们最终想要的结果。

    斯图尔特·拉塞尔：在超级人工智能可能出现的时代，我们应该用什么样的规则先让它们为人类服务，而不是变成人类的敌人？关于人工智能，所有问题最后应归结于教它们“怎么做决定”。

   创造一个比你更加智能的物种，这可能不是一个好主意。除非我们能找到让人工智能为人类服务的方法。人类给机器设定的“单一目标”未必是我们最终想要的结果。即使给机器的目标很简单，例如说“给我拿杯咖啡过来”，这依然有可能出乱子，因为机器会这么来推理：

    我的目标是去拿咖啡；我任务最可能失败的原因是什么？
    被关掉电源，如果我死了就不能拿咖啡了；我要把我的开关功能弄坏，所以没有人能关掉我；去了星巴克发现人很多，他们正在干扰我拿咖啡，所以把他们都电倒。

    听起来有点奇怪，但我们正在面对的问题是，这种单一思维的目标，很难最终实现的东西可能不是人类想要的价值。所以最重要的原则是，给人工智能的逻辑里装上“不确定性”：

    人工智能的唯一目标就是实现人类价值的最大化，没有任何兴趣去保存自身的存在；人工智能一开始对于这些价值并不确定；人类的行为会给机器提供关于人类价值的信息。

    在这个情况下，同样去拿咖啡的机器人会这么想：

    人类可能会把我关掉，如果我做错了什么事情的话；什么事情是错的？我不知道；关掉了我就知道什么是错的，所以我会让人类把我关掉。

    这是我们正在做的事情，就是可以和人类兼容的人工智能。当然人类的行为也有很多问题，所以不是让人工智能去完全模仿人类的行为，而是从人类行为中学习他们的真正的目标的复杂度，然后帮你实现目标。

    但有了这 3 个原则，还是会出现不少问题。真正的难点在于人类自己，因为我们自己的行为可能会崩坏。而人工智能不只是设计来达到一个人的目标，还要去平衡所有人的目标，所以它还需要理解、并且分辨出人类糟糕的部分。

    最难的问题是，人工智能要在很多人的利益中找到平衡点，这么做有很多方法，经济学家，社会学家……我们需要很多的协作。这部分没有平衡好会出现什么问题？

    这里有三个蛮好玩的例子，展示了没有把个人和社会价值平衡好的人工智能是什么效果：

    例子 1：如果人工智能只顾着你的利益。假如，你的利益点是“老婆大过天”：

    人工智能：你的老婆让我提醒你今晚一起晚餐。

   人类：什么？什么晚餐？

   人工智能：你结婚20周年纪念日晚餐，今晚7点。

   人类：不行啊！我7点30分约了秘书长！怎么会发生这样的事情？

   人工智能：我提醒过你的，不过你忽略我的日程推荐。

   人类：好吧，那我现在怎么办啊！我总不能告诉秘书长我没空吧？

   人工智能：没关系，我让他的航班延误了——由于电脑故障。

   人类：真的吗？你还能这么做？

   人工智能：秘书长说他很抱歉，并且说约你明天中午吃午饭。

例子2：假如人工智能只顾着全人类的利益。

    人工智能：欢迎回家，今天很辛苦吧？

   人类：太糟糕了，都没时间吃午饭。

   人工智能：你一定很饿了。

   人类：快饿死了，可以帮我准备一下晚餐吗？

    人工智能：我需要告诉你一些事情。苏丹南部的人民比你更需要帮助。我走了，你自己做晚餐吧。

例子3：人工智能没有理解你的价值体系。

    你没时间回家做饭。但你的小孩很饿，冰箱里什么食物都没有了。

   机器人看到了你的猫。这时候，它无法掂量猫的对于你家的感情价值，和营养价值之间哪个比较大，于是第二天就会在新闻媒体上看到——突发新闻：危险的机器人煮了猫咪做晚餐。

    在解决基本原则问题之前，一起这样的事故可以葬送一整个家用机器人行业。