一个算法让LLM创新能力暴增,原来是AI学会了进化

如果你让当今的 LLM 给你生成一个创意时钟设计,使用提示词「a creative time display」,它可能会给出这样的结果:或许我们能在其中看到一些创新点,但整体来说这些设计并无特别出彩之处,依然还在预期之内。 但近日的一项研究成果却可以让 LLM 设计出下面这些让人眼前一亮的时钟,而使用的提示词却和上面的一样:这是怎么做到的呢? 简而言之:一种基于 LLM 的进化算法。

如果你让当今的 LLM 给你生成一个创意时钟设计,使用提示词「a creative time display」,它可能会给出这样的结果:

图片

或许我们能在其中看到一些创新点,但整体来说这些设计并无特别出彩之处,依然还在预期之内。

但近日的一项研究成果却可以让 LLM 设计出下面这些让人眼前一亮的时钟,而使用的提示词却和上面的一样:

图片

图片

这是怎么做到的呢?简而言之:一种基于 LLM 的进化算法。

这种算法名为 Lluminate,来自洛克菲勒大学生物信息学研究者、生成式设计公司 Morphogen 创始人 Joel Simon。

图片

Lluminate 将进化方法与原则性创造性思维策略结合到了一起。结果发现,通过将进化压力与形式化的创意策略相结合,可以持续对隐含创造空间进行开放式探索。Joel Simon 将这个过程称为 illumination,即启迪。这也是该算法得名的由来。他表示:「这能为辅助式创造性探索提供新的可能性,对抗同质化,甚至可能发现新的想法。」

当然,这种算法不仅能用来创建创意时钟和以上推文演示的纹理动画,也可以用来生成前有未有的建筑风格。

提示词:an architectural style that has never been seen before

这是基线生成结果:

图片

而下面是应用了 Lluminate 算法之后的生成结果。看起来,至少在新颖性方面,Lluminate 确实带来了非常显著的提升。

图片

Lluminate 算法

项目地址:https://github.com/joel-simon/lluminate

该算法结合了进化计算原理与大型语言模型。所有突变都发生在遗传密码上,并被渲染成了嵌入的表型。其执行过程如下所示:

图片

  1. 摘要生成:创建当前种群的摘要,为后代提供上下文;
  2. 创意策略注入:随机选择并应用创造性思维策略来引导 LLM;
  3. 进化运算符:使用当前摘要和策略来提示模型,通过修改或组合现有 artifact 来创建新 artifact;
  4. 嵌入和新颖性计算:使用嵌入(与 k 个最近邻的平均距离)测量每个 artifact 与其他 artifact 的差异;
  5. 种群管理:为下一代选择最多样化的 artifact。

「think step by step」这个著名提示词可以提升语言模型解决逻辑问题的能力。为了测试提升创造性思维的能力如何,Joel Simon 的做法是通过提示词让推理模型在创建新的 artifact 之前先完成以下其中一种创意策略的步骤。

图片

实验结果

该研究者在纹理动画和时钟这两个领域进行了实验(使用了 p5.js 软件库)。模型是 OpenAI o3-mini。需要指出,余弦距离的微小变化可以会带来较大的感知变化。他测试了两种进化的提示词模式,变化(variation)意味着一个随机 artifac 发生变异,而创造(creation)的意思是基于当前种群摘要从头开始创建一个全新的 artifact。

新颖性和长度比较

图片

比较每个配置的最终种群新颖性和基因组长度(源代码字符串长度)。每个都使用 OpenAI 的 o3-mini 模型运行。运行 30 代,种群规模为每代 20 和 10 个新子代。所有测试重复三次。新颖性是最终种群每个成员到 3 个最近邻的平均距离。以上是随机种群基线的倍数增加情况。

每个 artifact 都标有用于创建它的创意策略,这可让我们比较每个策略的改进情况。以下是每种策略在种群中的使用百分比。

图片

Website 和  ShaderArtifac 域中策略使用情况比较

散点图展示了两个域中不同创意策略的使用百分比,x 轴表示网站使用情况,y 轴表示 ShaderArtifact 使用情况。误差线表示多次实验运行的标准差。对角虚线表示两个域中的使用情况相等。

该图表明,跨域的策略使用模式之间没有显著相关性(r=-0.02,p=0.963),一些策略显示出特定于域的偏好。值得注意的是,替换模板在 ShaderArtifact 生成中的使用率要高得多,而概念混合在网站生成中的使用率更高。其他策略,如 SCAMPER 变换、距离关联、斜策略和假设反转,在两个域中的使用率都更加均衡。

获得的洞察

该研究者也总结了从实验中获得的洞察:

  • 创意策略可促进多样性:与基线输出相比,形式化的创造性思维策略显著提高了新颖性指标。
  • 变化胜过创造:修改现有 artifact 产生的结果比从头开始生成新 artifact 产生的结果更加多样化。
  • 特定域某个域的有效性:替换模板在纹理动画方面表现出色,而概念混合在网站上表现更好。
  • 交叉会放大新颖性:将来自多个解决方案的元素组合在一起在实验中产生了最高的新颖性分数,表明约束可以帮助抵消天生的懒惰。
  • 新颖性-复杂性联系:更复杂的 artifact(更长的代码)在隐含空间中探索了更多新颖的领域。使用交叉和创造性策略的最多样化运行产生的输出平均长度几乎是没有交叉和创造性策略的运行的两倍。
  • 推理的收益递减:更高的推理水平并没有显著增加多样性,尽管它可能会提高质量。
  • 上下文意识很重要:种群摘要可以持续提高性能,突出了进化上下文的重要性。

你对此研究有何看法?会尝试使用该算法来生成创新性的视觉艺术吗?

相关资讯

不蒸馏R1也能超越DeepSeek,上海 AI Lab 用RL突破数学推理极限

仅通过强化学习,就能超越DeepSeek! 上海AI Lab提出了基于结果奖励的强化学习新范式——从Qwen2.5-32B-Base模型出发,仅通过微调和基于结果反馈的强化学习,在不蒸馏超大模型如DeepSeek-R1的情况下,就能超越DeepSeek-R1-Distill-Qwen32B和OpenAI-O1系列的超强数学推理性能。 团队发现,当前大模型数学推理任务面临”三重门”困局:稀疏奖励困境:最终答案对错的二元反馈,使复杂推理的优化变得困难局部正确陷阱:长思维链中部分正确步骤反而可能误导模型学习规模依赖魔咒:传统蒸馏方法迫使研究者陷入”参数规模军备竞赛”因此,研究团队重新审视了当前基于结果奖励的强化学习算法,经过严格的理论推导与证明,重新设计了一个新的结果奖励强化学习算法,并在这个过程中得出了三点重要结论:对于正样本:在二元反馈环境下,通过最佳轨迹采样(BoN)的行为克隆即可学习最优策略对于负样本:需要使用奖励重塑来维护策略优化目标的一致性对于长序列:不同的序列部分对结果的贡献不同,因此需要更细粒度的奖励分配函数,这个函数可以通过结果奖励习得通俗来说,就是通过对正确样本模仿学习,错误样本偏好学习,关键步骤重点学习,无需依赖超大规模的模型(例如DeepSeek-R1)进行蒸馏,仅通过强化学习即可达到惊人的效果。

免手术AI读心术新突破!Meta脑机接口研究惊呆网友:能边睡边玩手机发帖了??

新年伊始,Meta脑机接口研究传来新进展——语言模型加持下,无需动脑部手术,脑机接口实现了当前非侵入式方式(MEG)最准确的结果。 简单来说,仅利用AI模型Brain2Qwerty,他们实现了对脑电图(EEG)或脑磁图(MEG)电信号的高度解析。 具体效果如何呢?

老友记搬沙发难题终结,60年数学谜题破解!119页论文惊人证明:有最优解

臭名昭著的「搬沙发」难题,已经困扰了数学家们60年。 《老友记》经典的一幕,就是Ross找人帮忙搬新沙发时,无论如何也无法使沙发顺利通过拐角。 Ross大喊「Pivot!