无需提示词,Stability AI 演示 MindEye:目标想什么就能生成什么

AI 浪潮席卷而来,此前不少人认为“提示词工程师”会成为新兴工种,而 MindEye 的问世表明,这个岗位或许没有存在的价值了。此前不少人认为,未来 AI 时代并不在于某个模型是否强大,而是在于人类是否能够更高效利用这些 AI 模型,完成特定任务。这也诞生了“提示词工程师”概念,该工程师能够比普通人更能理解 AI,能够提出更准确的提示词,从而让 AI 满足其要求输出。而 StabilityAI 于 2023 年 7 月推出 MindEye1,近日再次推出了 MindEye2,让“提示词工程师”的价值大幅降低,该模型

AI 浪潮席卷而来,此前不少人认为“提示词工程师”会成为新兴工种,而 MindEye 的问世表明,这个岗位或许没有存在的价值了。

此前不少人认为,未来 AI 时代并不在于某个模型是否强大,而是在于人类是否能够更高效利用这些 AI 模型,完成特定任务。

这也诞生了“提示词工程师”概念,该工程师能够比普通人更能理解 AI,能够提出更准确的提示词,从而让 AI 满足其要求输出。

而 StabilityAI 于 2023 年 7 月推出 MindEye1,近日再次推出了 MindEye2,让“提示词工程师”的价值大幅降低,该模型并不依赖于特定的提示词,而是直接基于用户脑电波生成,也就是说用户大脑想要什么,未来该模型就能生成什么。

无需提示词,Stability AI 演示 MindEye:目标想什么就能生成什么

MindEye 直接从 fMRI 大脑活动中重建和检索图像,而且可以将二维图像转化为三维视频。

功能磁共振成像(fMRI)是一种通过检测血流变化来测量大脑活动的神经成像技术。这项技术的作用是绘制大脑功能图,评估治疗神经系统疾病的潜在方法。

无需提示词,Stability AI 演示 MindEye:目标想什么就能生成什么

MindEye 基于参与者在核磁共振成像扫描仪上观看一系列静态图像时的大脑活动记录数据集。研究团队训练该系统分析这些记录,并从候选库中检索原始图像(检索)或生成所查看图像的重建图像。

研究人员证明,MindEye 在图像检索任务中的表现优于以往的方法,从候选图像中识别原始图像的准确率超过 90%。在重建方面,MindEye 使用预先训练好的生成模型。

无需提示词,Stability AI 演示 MindEye:目标想什么就能生成什么

MindEye 可应用于各个领域。在医疗领域,它从大脑活动中重建视觉感知的能力可用于诊断和评估方法,尤其是在病人难以沟通的情况下。MindEye 的实时分析潜力有望改善脑机接口的性能。

无需提示词,Stability AI 演示 MindEye:目标想什么就能生成什么

研究小组强调了与数据收集有关的局限性,包括所需的冗长扫描时间,以及由于参与者移动或注意力不集中而可能产生的数据噪声。

IT之家附上论文参考

Reconstructing the Mind’s Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

相关资讯

AI知道你脑子里在想什么,还帮你画了出来,项目代码已开源

一个「所见即所思」的世界将是什么样子?

未来集成到AI中?以78%准确率识别声音,「生物计算机」将实验室培养的脑组织与电子硬件融合

大脑类器官的一部分,其中干细胞(粉色)正在分化为神经元(紫色)。(来源:Steve Gschmeissner/Science Photo Library)编辑 | X类脑计算硬件旨在模拟大脑的结构和工作原理,可用于解决当前 AI 技术的局限性。然而,以大脑为灵感的硅芯片在完全模拟大脑功能方面的能力仍然有限,因为大多数例子都是基于数字电子原理构建的。近日,来自美国印第安纳大学伯明顿分校(Indiana University Bloomington)的研究团队构建了一种「混合生物计算机」,将实验室培养的人脑组织与传统电

中国移动“算网大脑”规模商用,推动算力像水电一样即取即用

在昨日的 2024 中国算力大会“协同共建,打造算力产业链”主论坛上,中国移动宣布算网大脑规模商用。中国移动打造的“算网大脑”系统,旨在通过对算网资源的统一管理和智能调度,实现各方算力汇聚,推动算力成为像水、电一样,可“一点接入、即取即用”的社会级服务。中国移动介绍称,算网大脑支持算网资源全量纳管,实现了算网等多要素一站式智能订购。中国移动实现算力、存力、运力、能力一体感知和实时呈现,纳管通、智、超、量多样化算力(通算 8.2EFlops、自有智算超 26EFlops 和三方算力 3.4EFlops),以及覆盖 3