演讲重点摘录

· 人工智能的革命使得自动化系统转为自治系统。这实际上反映了从弱人工智能向通用人工智能转化的趋势。自治系统是物联网愿景的核心，因为在现有组织中需要自主主体取代人类来进一步整合各类系统，自治系统应运而生。

· 现今的挑战是，自主系统过于依赖人工智能赋能的组件。从另一方面来说，他们必须满足较高的可信度要求。

· 现代社会的机构在向公众传递什么是公平、合法、安全这方面起着非常重要的作用。而数字系统的标准也需要基于模型的技术。现有的标准并不适用于人工智能。

· 我认为社会要创造条件，（对合理使用人工智能）进行冷静、知情和合理的辩论，这一点十分重要。我们应该在严格执行风险预防原则和接受创新以提高效率或质量等方面取得平衡。

· 我认为另一个重要的困境是我们应该怎样为人和机器分工。创新和技术进步可能意味着技能的丧失。如果我们被机器的复杂性所击败，对人类来说是非常糟糕的。

演讲全文

我是约瑟夫·斯发基斯，2007年图灵奖获得者。很高兴能在2022年世界互联网大会乌镇峰会发表演讲：自治系统带来的伦理挑战。

首先，我想说的是，人工智能的革命使得自动化系统转为自治系统。这实际上反映了从弱人工智能向通用人工智能转化的趋势。

众所周知，自治系统是物联网愿景的核心，因为在现有组织中需要自主主体取代人类来进一步整合各类系统，自治系统应运而生。有很多例子，比如自动驾驶汽车、智能电网、医疗机器人等。自治系统和娱乐型机器人或智能助手有很大不同。自治系统也不同于自动系统，如飞行控制器和汽车中用于计算的ADAS系统。人工智能系统非常重要。它们应该表现出“广泛的智能”。但是开发和设计的难度很大。它们应该能够动态地管理相互冲突的目标，应对复杂环境中的不确定性，并能和与人类和谐合作。

现今的挑战是，自主系统过于依赖人工智能赋能的组件。从另一方面来说，他们必须满足较高的可信度要求。这是一个问题。

当我们制造人工制品，比如建造桥梁、制造飞机时，靠的是科学技术，换言之，靠的是被称之为基于模型的技术。科学提供模型和解释，预测和可解释性是可信的基础。它是通过分析和概念化实现的。现在，当我们使用人工智能支持的技术，如神经网络，他们的知识是基于数据的。它们创造知识，可以进行预测，尽管我们可能听说过人工智能的知识能力，但我们不了解它们是如何工作的。

为了更清楚地说明这一点，让我比较一下科学知识以及源于神经网络知识的产生过程。有几个步骤。我想到一个物理实验，伽利略的一个著名实验让他知道力和下一个加速度之间的比例关系。因此，他总结观察的现象，推理出了著名的公式，你看，这是对现象的解释。

现在，当我们想要建立一个神经网络，使其可以区分图像和实物，会有一个实验阶段。首先，我们将图像展示给人类，然用数字，在神经网络内对图像进行标注。但问题是我们如何解释这个神经网络的行为。我们不知道。目前没有任何相关理论。这是一个问题。问题是我们是否会通过人工智能系统。我们知道，为保证可靠性，对于关键系统，其设计技术有相关国际标准严格把关。

所以，如果你买一个烤面包机，或者建造桥梁或飞机时，它们会是可用并且足够安全的。现在，建造这样的人工制品须符合由独立机构监督实施的标准，这里我给出了美国的机构名单。

现代社会的机构在向公众传递什么是公平、合法、安全这方面起着非常重要的作用。而数字系统的标准也需要基于模型的技术。现有的标准并不适用于人工智能。也因为这种可解释性的内在限制，在未来也将不适用。

十分有趣的是，如今出现了一些与关键系统工程中传统做法相反的趋势。例如，有大型科技公司为自动驾驶平台开发实现机器学习的端到端解决方案。那么我们是否要使用自动驾驶平台？或者在某些情况下，关键软件可以通过不断的更新进行定制。有些车的软件是每月更新一次的。

此外，值得注意的是，美国联邦和州立法和法规机构允许使用自主系统，我们称之为自我认证。这听起来有点奇怪，因为，一个独立的组织是不能够保证系统的安全的，只有制造商才能保证。当然，你可以想象得到，这可能会引发一些伦理问题。

现在，关于伦理问题，我大致地发表一下我的看法。我认为，正常的伦理就是要做出正确的决定。为了做出正确的决定，首先你应该有选择的意识。我想到了信息通信技术。技术进步被认为是一种不考虑社会影响的目标。例如，我们知道广泛使用人工智能可能意味着失业，可能有一些社会和文化影响。在我看来，如今公共当局对信息和通信技术可能造成的社会不当行为的程度漠不关心，听之任之。关于选择，另一个问题是，人们应该更好地了解选择和潜在的错误。这一点至关重要。因此，为了了解一些情况下真正的危险，有一些关于危险和威胁的方法论。他们的出现并不是一种我们无力控制的宿命，你们应该听过技术奇点吧。

我还认为，大型技术公司并未努力告知公众。今天，人们已经准备好接受错误的想法或自我审查和顺从，因为他们被合理使用人工智能的不同意见所困惑。有些人高估了潜在的危险，并通过使潜在的风险最小化来推动对新技术的接受和采用。因此，我认为社会要创造条件，进行冷静、知情和合理的辩论，这一点十分重要。

当然，我们应该在严格执行风险预防原则和接受创新以提高效率或质量等方面取得平衡。在欧洲，我们有欧洲法律。有这些风险预防原则，所以我们不会在不了解其风险的情况下使用自动下载系统。现在，下载系统面临自由选择与性能之间的窘境。问题是，我们是否应该把决定权授予系统，计算机，在不了解它们是如何做出决定的情况下，它们是否运用了真实，无偏颇的知识。当然，我们也应该确保性能带来的好处值得冒风险。

最后，我认为另一个重要的困境是我们应该怎样为人和机器分工。创新和技术进步可能意味着技能的丧失。而这会随着新技术的发展而发生。问题是，很难想象机器可以超越人类的智慧。尽管如此，如果我们贪图智力上的懒惰和安逸，人类的智慧也可以被驯服和征服。如果我们被机器的复杂性所击败，对人类来说是非常糟糕的。

我的演讲就到这里，感谢聆听。

谢谢大家。