“模型崩溃”是什么？专家解释了有关即将到来的AI末日的传闻

The conversation8月20日报道，人工智能（AI）的预言家和新闻传播者正在预测生成式AI热潮的终结，并谈论即将发生的灾难性“模型崩溃”。

但这些预测到底有多现实？“模型崩溃”究竟是什么？

这一概念在2023年被讨论，但最近才被广泛传播。“模型崩溃”指的是一种假设的情境，即由于互联网上AI生成的数据增加，未来的AI系统会逐渐变得愚钝。

数据的需求

现代AI系统是通过机器学习构建的。程序员设置了基础的数学结构，但实际的“智能”来自于训练系统模仿数据中的模式。

但不是随便什么数据。当前一代的生成式AI系统需要高质量的数据，而且需要大量的数据。

为了获取数据，OpenAI、谷歌、Meta和Nvidia等大科技公司不断在互联网上搜集内容，收集数太字节的内容来为AI系统提供数据。然而，自从2022年广泛可用的生成式AI系统问世以来，人们越来越多地上传和分享部分或全部由AI制作的内容。

到2023年，研究人员开始思考是否可以只依赖AI生成的数据进行训练，而不依赖人类生成的数据。

让这一方法奏效有巨大的动力。除了在互联网上大量存在外，AI生成的内容比人类数据便宜得多，也不会涉及大规模收集的伦理和法律问题。

然而，研究人员发现，如果没有高质量的人类数据，依赖AI生成的数据进行训练的AI系统会越来越“愚蠢”，每个模型都会从前一个模型中学到错误信息。这就像是数字版的近亲繁殖问题。

这种“反刍式训练”似乎导致了模型行为质量和多样性的下降。这里的质量大致意味着结合了有用性、无害性和诚实性。多样性指的是回应的变化，以及在AI输出中体现的不同文化和社会视角。

简而言之：过度使用AI系统可能会污染我们需要的原始数据源，从而削弱这些系统的有效性。

避免崩溃

大科技公司不能简单地过滤掉AI生成的内容吗？其实不太行。科技公司已经在清理和过滤它们收集的数据上花费了大量时间和金钱，一位业内人士最近透露，他们有时会丢弃多达90%的最初收集的数据以进行模型训练。

随着删除AI生成内容的需求增加，这些努力可能会变得更加艰巨。但更重要的是，从长远来看，区分AI生成的内容将变得越来越困难。这将使得过滤和删除合成数据的工作变得收益递减（尤其是财务方面）。

最终，目前的研究表明，我们无法完全放弃人类数据。毕竟，这才是AI中“智能”（Intelligence）的来源。

我们是否正走向灾难？

有迹象表明，开发人员已经在努力寻找高质量的数据。例如，GPT-4发布时的文档中提到的数据相关项目中涉及了前所未有的大量工作人员。

我们可能也即将耗尽新的人工数据。某些估计表明，到2026年，人类生成的文本数据可能会枯竭。

这可能就是为什么OpenAI等公司正竞相与Shutterstock、美联社和NewsCorp等行业巨头建立独家合作关系的原因。这些公司拥有大量的专有人工数据，这些数据在公共互联网中并不容易获取。

然而，关于灾难性模型崩溃的前景可能被夸大了。到目前为止，大多数研究集中在合成数据完全替代人类数据的情况。实际上，人类数据和AI数据可能会同时积累，从而减少崩溃的可能性。

未来最可能的情景是，一个相对多样化的生成式AI平台生态系统将被用于创建和发布内容，而不是依赖单一的巨型模型。这也增加了对抗崩溃的稳健性。

这也是监管机构应该通过限制AI领域的垄断来促进健康竞争，并资助公共利益技术发展的一个好理由。

真正的担忧

过多的AI生成内容还带来了更微妙的风险。

合成内容的泛滥可能不会对AI发展的进展构成生存威胁，但它确实威胁到了（人类）互联网的数字公共利益。

例如，研究人员发现，在ChatGPT发布一年后，编程网站StackOverflow的活动减少了16%。这表明AI助手可能已经在某些在线社区中减少了人与人之间的互动。

由AI驱动的内容农场的过度生产也使得找到不是充满广告的点击诱饵内容变得更加困难。

要可靠地区分人类生成和AI生成的内容变得越来越不可能。解决这一问题的一种方法是对AI生成的内容进行水印标记或标签，正如我和其他许多人最近强调的那样，这也反映在澳大利亚政府最近的临时立法中。

还有另一个风险。随着AI生成的内容系统化地变得同质化，我们有可能失去社会文化的多样性，某些群体甚至可能经历文化消亡。我们迫切需要跨学科研究AI系统带来的社会和文化挑战。

人类互动和人类数据很重要，我们应该保护它们。为了我们自己的利益，也为了避免未来可能的模型崩溃的风险。

新闻来源：The conversation             作者：Natalie Sauer

编辑：Audrey

（声明：请读者严格遵守所在地法律法规，本文不代表任何投资建议）