AI 浪潮席卷而来,此前不少人认为“提醒词工程师”会成为新兴工种,而 MindEye 的问世表明,这个岗位或许没有存在的价值了。
此前不少人认为,未来 AI 时代并不在于某个模型是否强大,而是在于人类是否可能更高效利用这些 AI 模型,完成一定任务。
这也诞生了“提醒词工程师”概念,该工程师可能比普通人更能理解 AI,可能提出更准确的提醒词,从而让 AI 满足其要求输出。
而 StabilityAI 于 2023 年 7 月推出 MindEye1,近日再次推出了 MindEye2,让“提醒词工程师”的价值大幅降低,该模型并不依赖于一定的提醒词,而是直接鉴于用户脑电波生成,也就是说用户大脑想要什么,未来该模型就能生成什么。
MindEye 直接从 fMRI 大脑流动中重修和检索图象,而且可以将二维图象转化为三维视频。
功能磁共振成像(fMRI)是一种通过检测血流变化来测量大脑流动的神经成像技术。这项技术的作用是绘制大脑功能图,评价治疗神经系统疾病的潜在办法。
MindEye 鉴于参与者在核磁共振成像扫描仪上观看一系列静态图象时的大脑流动记载数据集。钻研团队训练该系统分析这些记载,并从候选库中检索原始图象(检索)或生成所查看图象的重修图象。
钻研人员证明,MindEye 在图象检索任务中的表现优于以往的办法,从候选图象中识别原始图象的准确率超过 90%。在重修方面,MindEye 使用预先训练好的生成模型。
MindEye 可应用于各个领域。在医疗领域,它从大脑流动中重修视觉感知的能力可用于诊断和评价办法,尤其是在病人难以沟通的情况下。MindEye 的实时分析潜力有望改善脑机接口的性能。
钻研小组强调了与数据收集有关的局限性,包括所需的冗长扫描时间,以及由于参与者移动或注意力不集中而可能产生的数据噪声。
IT之家附上论文参考
Reconstructing the Mind’s Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors
MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data
MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data