3月29日，未来生命研究所(Future of Life Institute)发布了一封公开信，呼吁所有人工智能(AI)实验室暂停一切大规模人工智能系统的训练，至少停止六个月，这些系统比目前最先进的GPT-4更强大。我和其他一些业内知名人士一起签署了这封“暂停信”，其中包括埃隆·马斯克(Elon Musk)和史蒂夫·沃兹尼亚克(Steve Wozniak)。我不知道呼吁有没有用，但我相信前方确实有危险，以下是为什么我这么说的原因。

一段时间以来，我一直都在担心人工智能对社会的影响，我指的不是超级智能人工智能突然接管世界这种人类面临的长期存亡风险，而是人工智能被用来操纵社会的短期风险，即通过人工智能有意影响我们接收的信息，并决定这些信息如何在人群中传播。这种风险在过去12个月里迅速上升，原因是两种重叠技术的重大性能提升，这两种技术通常被称为“生成式AI”和“对话式AI”。下面我来谈谈自己为什么对这两种技术感到担忧。

生成式AI指的是大型语言模型(LLM)根据人类要求创造原创内容的能力。现在，人工智能生成的内容包括图像、艺术作品、视频、散文、诗歌、计算机软件、音乐和科学类文章等。在过去，生成式内容让人叹为观止，但没有人会把它误认为是人类的创造。这一切在过去12个月里发生了变化。人工智能系统突然能够创造出可以轻易欺骗我们的东西，让我们相信这些东西要么真的是人类创造的，要么是真实的视频或在现实世界中捕捉到的照片。这种能力目前正在被大规模部署，给社会带来了许多重大风险。 

就业市场面临的风险最显而易见。由于LLM系统创造的东西让人叹为观止，专业人士现在将LLM系统称为“能与人类竞争的智能”，可以取代内容创作者。从艺术家和作家到计算机程序员和金融分析师，一大批职业都会受到影响。事实上，Open AI、OpenResearch和宾夕法尼亚大学的一项新研究通过比较GPT-4能力和工作要求，探索了人工智能对美国劳动力市场的影响。该研究的作者估计，20%的美国劳动力中至少有50%的工作将受到GPT-4的影响，高收入工作将受到更大的影响。 

就业市场面临的这一近在眼前的威胁令人担忧，但这不是我签署“暂停信”的原因。我的担忧是，人工智能生成的内容看起来和感觉起来都是真实的，而且经常给人很有权威的印象，但它实际上很容易犯事实性错误。如何确保这些将成为劳动力主要组成部分的系统不会从传播小错误变成传播疯狂的捏造内容，目前没有确切的标准或管理机构，我们需要时间来制定保护措施，并由监管机构来确保保护措施落到实处。 

接下来一个显而易见的风险是，心怀不轨的人可能会故意创作出带有事实性错误的内容，被用于有意传播错误信息、虚假信息和彻头彻尾的谎言。这一风险一直都存在，但生成式人工智能所能触及的范围是过去不曾有过的，我们的世界非常容易因此充斥着看起来很权威但完全是捏造的内容。这种情况已经在Deepfake这类AI换脸工具上得到了体现，公众人物可以在看起来非常逼真的视频中做任何事或说任何话。随着人工智能变得越来越娴熟，公众将无法区分真假。我们需要水印系统和其他技术来区分真实的内容和人工智能生成的内容。要制定和落实这些保护措施，同样需要时间。 

对话式人工智能系统带来了一系列独特的风险。这种形式的生成式人工智能可以通过文本聊天和语音聊天与用户进行实时对话。这些系统最近已经发展到人工智能可以与人类进行连贯的对话，并随着时间的推移跟踪对话过程和上下文。这些技术是我最担心的，因为它们引入了一种监管机构没有准备好的全新的影响力运动形式——对话影响力。 

每个销售人员都知道，说服别人买东西或相信某个东西的最好方法是与他们交谈，这样你就可以阐述自己的观点，观察他们的反应，然后调整策略来应对他们的抗拒或担忧。随着GPT-4的发布，现在很明显，人工智能系统将能够让用户参与真实的实时对话，作为一种有针对性的影响形式。我担心的是，第三方使用API或插件将促销目标传递到看似自然的对话中，毫无提防的用户将被操纵购买他们不想要的产品，注册他们不需要的服务，或者相信不真实的信息。

我称之为“人工智能操纵问题”。在很长一段时间里，这只是一个理论上的风险，但现在的技术可以部署个性化的对话影响力活动，根据用户的价值观、兴趣和背景来定位用户，以推动销售、宣传或误导信息。 

事实上，我担心人工智能驱动的对话影响力将成为人类有史以来最强大的有针对性的说服形式。我们需要时间来落实保护措施。就我个人而言，我认为可能需要制定法相关规，禁止或严格限制使用人工智能介导的对话影响力。 

因此，我在“暂停信”上签了名，因为我清楚地看到了人工智能系统带来的新风险的蔓延速度非常快，从业内研究人员和行业专业人士到监管机构和政策制定者，都没有时间去适应。

这封信会管用吗？我不清楚人工智能行业是否会同意暂停六个月，但这封信已经引起了人们对这个问题的关注。就我个人而言，我认为我们需要尽可能多地敲响警钟，以唤醒监管机构、政策制定者和行业领导者，他们需要采取行动，这项技术进入市场的速度比我经历过的任何事都要快，这也是为什么我们必须暂停适应一下。我们需要一些时间。

本文作者系Unanimous AICEO、Responsible Metaverse Alliance首席科学家和XR Safety Initiative全球技术顾问。 

文 | 路易斯·罗森博格(Louis Rosenberg)

编辑 | 郭力群

版权声明：

《巴伦周刊》(barronschina)原创文章，未经许可，不得转载。英文版见2023年3月30日报道“Why AI Needs to Pause”。

（本文内容仅供参考，投资建议不代表《巴伦周刊》倾向；市场有风险，投资须谨慎。）