OpenAI的萨姆·奥特曼正成为地球上最有权势的人之一，我们应当感到恐惧

卫报8月4日报道，2023年5月16日，OpenAI那位迷人、温文尔雅、永远乐观的亿万富翁CEO萨姆·奥特曼和我站在美国参议院司法小组委员会关于AI监管的会议前。我们在华盛顿特区，正值AI狂热的顶峰。当时38岁的奥特曼是这一切的代言人。

奥特曼在密苏里州圣路易斯长大，是斯坦福大学的辍学生，在30岁之前就成为了极其成功的创业孵化器Y Combinator的总裁。在听证会几个月前，他公司的产品ChatGPT已经风靡全球。整个2023年夏天，奥特曼像披头士乐队成员一样受到追捧，作为世界巡回演出的一部分来到华盛顿，与全球的总理和总统会面。美国参议员凯尔斯滕·西尼玛赞叹道：“我从未见过像萨姆这么聪明的人……他是个内向、害羞和谦逊的人……但……他非常擅长与国会山上的人建立关系……能够帮助政府理解AI。”当时对奥特曼的赞美描绘了他年轻、真诚、有才华、富有，并且只关心促进人类福祉。他频繁提及AI可能改变全球经济，这让世界领导人垂涎三尺。

渐渐地，我意识到，我、参议院，最终是美国人民，可能都被玩弄了。

参议员理查德·布卢门撒尔召集我们两人（以及IBM的克里斯蒂娜·蒙哥马利）到华盛顿，讨论应对AI的措施，这是一种既有巨大前景又有潜在巨大危害的“双重用途”技术——从信息泛滥到促进新型生物武器的扩散。议程是AI政策和监管。我们宣誓要说出全部真相，毫无保留。

奥特曼代表的是一家领先的AI公司；而我是作为一名科学家和作家出席的，以对许多与AI相关的事物持怀疑态度而闻名。我发现奥特曼出乎意料地具有吸引力。有些时候他会避开问题（尤其是布卢门撒尔的“你最担心什么？”这个问题，我敦促奥特曼更坦诚地回答），但总体而言，他看起来很真诚，我记得当时也对参议员们说了这些。我们都强烈支持AI监管。然而，渐渐地，我意识到，我、参议院，最终是美国人民，可能都被玩弄了。

事实上，我对OpenAI一直有所保留。例如，该公司的新闻宣传往往过于夸张，甚至具有误导性，比如他们展示的一个机器人“解决”魔方的华丽演示，结果发现里面有特殊的传感器。它获得了大量的媒体报道，但最终没有什么实际成果。

多年来，OpenAI这个名字——暗示公司在其科学背后具有某种开放性——对我来说一直像是一个谎言，因为实际上它变得越来越不透明。公司频繁暗示AGI（通用人工智能，能够至少匹配任何人类认知能力的AI）即将到来，这对我来说总是感觉像是不切实际的炒作。但在面对面时，奥特曼光彩夺目；我不禁怀疑自己以前是否对他太苛刻了。事后看来，我对他还是太软了。

有人向我透露了一件小事，但却很有意义，使我开始重新考虑。在参议院，奥特曼将自己描绘得比实际更无私。参议员约翰·肯尼迪问：“好吧。你赚很多钱，对吗？”奥特曼回答：“我不赚……我挣的钱刚好够支付健康保险。我在OpenAI没有股份。”并解释说：“我这样做是因为我热爱它。”参议员们对此深信不疑。

但奥特曼并没有说出全部真相。他确实没有持有OpenAI的股票，但他持有Y Combinator的股票，而Y Combinator持有OpenAI的股票。这意味着萨姆间接持有OpenAI的股份，这一点在OpenAI的网站上有所提及。如果这间接股份仅占公司价值的0.1%，这看起来很合理，那么其价值也将近1亿美元。

这一遗漏是一个警示信号。当话题再次提及时，他本可以纠正这个问题，但他没有。人们喜欢他的无私神话。（他在《财富》杂志上的一篇文章中加倍强调，声称他不需要OpenAI的股份，因为他有“足够的钱”。）不久之后，我发现OpenAI与奥特曼持有股份的一家芯片公司达成了协议。所谓的无私开始显得虚伪。

回顾在参议院的那段时间，关于钱的讨论并不是唯一感觉不完全坦诚的事情。更重要的是OpenAI对AI监管的立场。公开场合，奥特曼对参议院表示支持。但实际上情况要复杂得多。

一方面，也许奥特曼的确有一小部分是真心希望有AI监管。他喜欢引用奥本海默的话（并清楚地知道他和曼哈顿计划领导人同一天生日），并认识到，就像核武器一样，AI对人类构成严重风险。正如他在参议院所说（尽管是我稍加提醒后）："看，我们一直在尽量明确这里的风险……我最担心的是我们——这个领域、这项技术、这个行业——对世界造成重大伤害。"

大概奥特曼不想背负遗憾和恶名。但是在幕后，他的说客不断推动更弱的监管，甚至没有监管。参议院听证会一个月后，传出消息说OpenAI正试图淡化欧盟的AI法案。到2023年11月他因“对董事会不一致的坦诚”被OpenAI解雇时，我并不感到意外。

当时，很少有人支持董事会解雇奥特曼的决定。大量支持者纷纷帮助他，许多人把他当成圣人。著名记者卡拉·斯威舍（与奥特曼关系密切）因我仅仅暗示董事会可能有其道理而在推特上屏蔽了我。奥特曼很好地操控了媒体。五天后，在OpenAI主要投资者微软和员工支持奥特曼的请愿书的帮助下，他被重新任命。

但自那以后，很多事情都发生了变化。最近几个月，对奥特曼坦诚度的担忧已从离经叛道变成了时尚。记者爱德华·齐特龙写道，奥特曼是“一个假先知——一个用他惊人的能力来打动和操纵硅谷精英的肮脏骗子”。彭博新闻的艾伦·休特在播客《Foundering》中得出结论：“当[奥特曼]说什么时，你不能确定他是否真的意味如此。”巴黎·马克思警告说“萨姆·奥特曼的自私愿景”。AI先驱杰弗里·辛顿最近质疑奥特曼的动机。我自己写了一篇名为《萨姆·奥特曼攻略》的文章，剖析他如何用炒作和表面谦逊来愚弄这么多人这么久。

导致信任崩塌的原因有很多。对一些人来说，触发点是奥特曼今年早些时候与斯嘉丽·约翰逊的互动，她明确要求他不要用她的声音制作聊天机器人。奥特曼用了一位声音明显相似的配音演员，并发推特“她”（指的是约翰逊在电影《Her》中为AI配音）。约翰逊非常愤怒。而斯嘉丽事件象征着更大的问题：大公司如OpenAI坚持认为他们的模型必须以全球的知识产权为训练素材，但他们几乎没有或根本没有给予许多创作者补偿。演员贾斯廷·贝特曼称之为“美国历史上最大规模的盗窃”。

与此同时，OpenAI长期以来口头上说重视AI安全措施的开发，但最近有几位关键的安全相关员工离职，声称承诺没有兑现。前OpenAI安全研究员简·莱克表示公司优先考虑华丽的东西而非安全，另一位最近离职的员工威廉·桑德斯也是如此。联合创始人伊利亚·苏茨凯弗离职并成立了新公司Safe Superintelligence，而前OpenAI员工丹尼尔·科科塔伊洛也警告说有关安全的承诺被忽视。尽管社交媒体对社会造成了很大影响，但OpenAI可能无意间开发出的失控AI可能（如奥特曼自己所言）更糟糕。

OpenAI对安全的忽视还因公司似乎在试图让员工保持沉默而加剧。五月，记者凯尔西·派珀揭露了一些文件，这些文件允许公司收回不愿同意不说公司坏话的前员工的已归属股票，这一做法让许多业内人士感到震惊。不久之后，许多前OpenAI员工签署了一封在righttowarn.ai上的信，要求提供告密者保护，结果公司妥协，表示不会执行这些合同。

连公司的董事会都感到受骗。五月，前OpenAI董事会成员海伦·托纳在Ted AI Show播客上说：“多年来，萨姆让董事会非常困难……通过，知道吗，隐瞒信息，歪曲公司发生的事情，在某些情况下，直接对董事会撒谎。”

到五月底，有关OpenAI及其CEO的负面报道不断累积，风险投资家马特·特克在X上发布了一幅漫画：“自上次轻易避免的OpenAI争议以来的天数：0。”

然而，奥特曼仍然在位，仍然非常有权势。他仍然领导OpenAI，在很大程度上仍然是AI的公众形象。他重新组建了OpenAI的董事会，主要按照他的喜好。即使在2024年4月，国土安全部长亚历杭德罗·马约卡斯也前往拜访奥特曼，招募他加入国土安全的AI安全与安保委员会。

事情关系重大。现在AI的发展方式将产生持久的影响。奥特曼的选择可能会以持久的方式影响全人类——不仅仅是个别用户。OpenAI已经承认，其工具已被俄罗斯和中国用于制造虚假信息，可能意图影响选举。如果开发出更高级的AI，可能会带来更严重的风险。无论社交媒体在极化社会和微妙地影响人们信仰方面做了什么，大型AI公司可能会更糟。

此外，由OpenAI推广的生成式AI在电力使用、排放和水资源使用方面对环境产生了巨大影响。彭博社最近指出：“AI已经对全球电力系统造成了破坏。”随着模型本身变得更大（这是所有大玩家的目标），这种影响可能会显著增加。在很大程度上，政府依赖奥特曼的说法，认为AI最终会带来回报（目前还没有），以此来证明环境成本的合理性。

与此同时，OpenAI已担任领导角色，奥特曼加入了国土安全安全委员会。对他的建议应持怀疑态度。奥特曼曾短暂地试图吸引投资者对生成式AI的基础设施进行7万亿美元的投资，这可能会浪费大量资源，而这些资源或许可以更好地用于其他地方，因为我和许多人怀疑生成式AI并不是通往AGI（人工通用智能）的正确路径。

最后，过高估计当前的AI可能导致战争。例如，美国对出口关键的Nvidia GPU芯片实施出口控制，这些芯片在台湾制造，影响了中国在AI领域的进展，并加剧了两国间的紧张关系。芯片之争主要基于AI会继续指数级提升的假设，但数据表明当前的方法可能已经达到收益递减点。

奥特曼可能最初是出于良好意图。也许他真的想拯救世界免受AI的威胁，并引导AI向善发展。然而，贪婪往往会占上风。

不幸的是，许多其他AI公司似乎走上了奥特曼所规划的炒作和偷工减料的道路。Anthropic——由担心AI安全不被认真对待的一些OpenAI难民创办——似乎越来越多地与母公司直接竞争，随之而来的是所有相关的问题。亿级初创公司Perplexity似乎是另一个贪婪的教训，用不该使用的数据进行训练。微软则从倡导“负责任的AI”转向急于推出存在严重问题的产品，迫使谷歌也不得不跟进。金钱和权力正在腐蚀AI，就像它们腐蚀社交媒体一样。

我们根本不能信任大型私人持有的AI初创公司以道德和透明的方式进行自我管理。如果我们不能信任它们自我管理，就更不应该让它们管理世界。

老实说，我认为如果我们继续沿着目前的道路走下去，我们不会得到一个值得信赖的AI。除了权力和金钱的腐蚀影响，还有一个深层次的技术问题：大语言模型（生成式AI的核心技术）是不太可能安全的。它们本质上是不透明的“黑箱”，我们永远无法完全控制。驱动它们的统计技术可以做一些令人惊叹的事情，如加速计算机编程和创建与已故亲人或历史人物风格相似的互动角色。但这样的黑箱从未可靠，因此它们是我们可以信赖的AI的糟糕基础，不适合用来管理我们的生活和基础设施。

尽管如此，我不认为我们应该放弃AI。开发更好的AI——用于医学、材料科学、气候科学等领域——确实可以改变世界。生成式AI可能不行，但某种未来尚未开发的AI形式可能可以。

讽刺的是，今天AI面临的最大威胁可能是AI公司本身；它们的不良行为和炒作承诺让许多人失去了信心。许多人希望政府能更强力地介入。据人工智能政策研究所6月份的一项民意调查显示，80%的美国选民更倾向于“对AI进行监管，要求采取安全措施和政府监督AI实验室，而不是让AI公司自我监管”。

为了得到一个值得信赖的AI，我一直呼吁进行跨国合作，类似于CERN的高能物理联盟。现在是时候了。这样的努力如果专注于AI安全和可靠性，而不是利润，并开发出一套属于人类而不是仅属于少数贪婪公司的新AI技术，将是具有变革性的。

不仅如此，公民需要发声，要求一个对大多数人有益而不仅仅是少数人的AI。我可以保证的是，如果我们把一切交给硅谷处理，我们就不会到达AI的应许之地。科技老板们几十年来一直在隐瞒真相。我们为什么要期望萨姆·奥特曼会有所不同呢？最后一次看到他是在纳帕谷巡游，驾驶一辆价值400万美元的科尼赛克超级跑车。

新闻来源：卫报          作者：Gary Marcus

编辑：Audrey

（声明：请读者严格遵守所在地法律法规，本文不代表任何投资建议）