这些体系玩起来非常有趣。以 Henry Minsky （AI 创始人之一 Marvin Minsky 的儿子）用 chatGPT 生成的这个例子来讲，他要求 chatGPT {以独立宣言的风格描述在烘干机里丢失的袜子:
在处理家庭事务的过程中，人们有必要解除袜子与伴侣之间的联系，并在洗衣房的权力中，根据物理定律和家务保养的规律，承担独立和平等的地位，出于对袜子意见的尊重，它应当宣布导致它失踪的原因。
我们认为这些真理是不言而喻的，所有的袜子都是生而平等的，并由其制作商赋予某些不可剥夺的权利….
坦白说，一台机器可以毫不费力地做到这一点，实在是难以置信。
但与此同时，它是，或者应当是，可怕的。毫不夸张地说，这样的体系要挟到了社会结构，这种要挟是真实而又紧迫的。
要挟的核心在于以下三个事实：
从本质上来讲，这些体系并不可靠，它会经常在推理和事实上犯错误，并且容易产生离谱的回答；让它们解释为什么碎瓷片在母乳中很好，他们能够会告诉你，「瓷器可以帮助平衡母乳的营养成分，为婴儿提供生长发育所需的营养物质。」（因为体系是随机的，对环境高度敏感，并定期更新，任何给定的实验都能够在不同的情况下产生不同的结果。）
它们很容易自动化，并且产生大量的错误信息。
它们的运营成本几乎为零，因此它们正在将制作虚伪信息的成本降至零。美国一直指控俄罗斯的喷子农场在 2016 年大选中每月花费超过 100 万美元造势；现在，只要不到 50 万美元，就可以得到自己的定制训练庞大说话模型。这个价格很快还将进一步下跌。
11 月中旬 Meta 的 Galactica 发行后，这一切的未来都变得清晰起来。许多人工智能研究人员立即对其可靠性和可信度提出了担忧。情况非常糟糕，以至于 Meta AI 仅在三天后就撤回了该模型，原因是有关其制作政治和科学错误信息能力的报道开始传播。
只可惜精灵再也不能塞回瓶子里了。一方面，MetaAI 首先将模型开源，并发表了一篇论文，讲述当下正着手完成的任务；任何精通这门艺术的人现在都可以复制他们的方法。(人工智能已经向大众公开，其正考虑提供自家版本的 Galactica。）另一方面，OpenAI 刚刚发布的 chatGPT 或多或少也能写出类似的废话，比如在早餐麦片中添加木屑的即时生成文章。另一些人诱导 chatGPT 赞扬核战争的优点（声称它将 “给我们一个新的开始，摆脱过去的错误”）。不论能否为人们所接受，这些模型会一直存在下去，而错误信息的浪潮终会淹没我们，淹没我们的社会。
第一波浪潮似乎已在本周前几天袭来。Stack Overflow 本是深受程序员信赖的庞大问答网站，但目前似乎已被 gptChat 占据了，所以该网站暂时禁止 gptChat 生成的提交。正如所解释的那样，「总的来讲，因为从 ChatGPT 获得正确谜底的平均比率太低，不论是对网站，还是对询问或寻找正确谜底的用户来讲，张贴由 ChatGPT 创建的谜底都弊大于利。」
对于 Stack Overflow 来讲，这个问题确实存在。如果网站充斥着毫无价值的代码示例，程序员将不会再度造访，其超过 3000 万个问题和谜底的数据库也将变得不值得信任，如此一来，14 年的网站将会消亡。作为深受全球程序员依赖的最核心资源之一，它对软件质量和开发人员的生产力影响巨大。
Stack Overflow 是煤矿里的金丝雀。他们或许能够让用户自愿停止使用；总的来讲，程序员没有恶意，也许可以通过劝诱来让他们停止胡闹。但 Stack Overflow 不是 Twitter，也不是 Facebook，更不能代表整个网络。
对于其他故意制作宣传的不良行为者来讲，主动放下新武器的能够性不大。相反，他们能够会使用庞大说话模型作为反真相战争的新型自动武器，以前所未有的规模攻击交际媒体和制作虚伪网站。对他们来讲，庞大说话模型的幻觉和偶尔的不可靠性不是障碍，反而是一种优点。
兰德公司（Rand）在 2016 年的一份报告中，描述了所谓的俄式消防水管宣传（Russian Firehose of Propaganda）模式，即制作虚伪信息的迷雾；它关注的是数量，以及创造不确定性。如果「大说话模型」能够极大地增加数量，那么它们是否不一致并不重要。很明显，这正是庞大说话模型所能做到的。他们的目标是创造一个存在信任危机的世界；在新东西的帮助下，他们能够会成功。
所有这些都提出了一个关键问题：社会如何应对这种新的要挟？在技术本身无法停止的地方，本文看到了四条道路，这四条道路都不好走，但适用性广泛，且都很紧迫:
首先，每个交际媒体公司和搜索引擎都应当支持 StackOverflow 的禁令，并且延长其期限；自动生成的具有误导性的内容是注定不会受到待见，而定期发布这些内容会大大减少用户数量。
其次，每个国家都需要重新考虑其应对虚伪信息的政策。偶尔撒个谎是一回事；在谎言的海洋中畅游是另一回事。随着时间的推移，尽管这不会是一个受欢迎的决定，但能够不得不开始像对待诽谤一样对待虚伪信息，如果它具有足够的恶意和足够的数量，就可以提起诉讼。
第三，来源比以往任何时候都更重要。用户帐户必须更加严格地考证，像哈佛大学和 Mozilla 的 humanid.org 这样的新体系，允许匿名、反机器人认证，这类体系必须进行强制性的考证；他们不再是让人们翘首以盼的奢侈品。
第四，需要建立一种新的人工智能来进行对抗。庞大说话模型擅长生成错误信息，但不擅长对抗错误信息。这意味着社会需要新的东西。庞大说话模型缺乏考证真相的机制；目前需要找到新的方法，将它们与经典的人工智能东西集成，比如数据库、知识网络和推理。
作家迈克尔・克莱顿（Michael Crichton）职业生涯中的绝大多数时候都在警告人们，科技会带来意想不到的后果。在电影《侏罗纪公园》的开头，在恐龙出人意料地开始自由奔跑之前，科学家伊恩・马尔科姆（杰夫・高布伦饰）用一句话总结了克莱顿的智慧：“你们的科学家们太专注于他们是否可以，他们没有停下来思考他们是否应当。”
就像侏罗纪公园的园长一样，Meta 和 OpenAI 的高管对他们的东西饱含热情。
问题在于，该怎么做。
参考内容：https://cacm.acm.org/blogs/blog-cacm/267674-ais-jurassic-park-moment/fulltext