Imagen 2可以生成质量更高、更真切、更准确的图象。
google最近真是好消息不断。
先是前几天祭出大杀器 Gemini,发布会上的一系列 Demo 展示让人眼花缭乱。短短一周时间,现在google又宣布了几个好消息:Gemini Pro 的第一个版本现在可以通过 Gemini API 访问;发布 Imagen 2;推出一系列针对医疗行业进行微调的模型 MedLM。
在这些发布当中,文本到图象的 Imagen 2 受到大家格外的关注。此前,google就推出了文本到图象分散模型 Imagen,其生成的结果可谓是天马行空、奇幻又真切。
现在,随着 Google DeepMind 宣布 Imagen 2 的到来,google在图象生成领域又前进了一步。他们在官方 X 上表示:「Imagen 2 是我们最先进的文本到图象分散技巧,具有高质量,真切的输入和与用户提醒更强的一致性。」
开发人员和云客户可以通过 Google Cloud Vertex AI 中的 Imagen API 来使用 Imagen 2 。
Google Cloud Vertex AI 地址:https://cloud.google.com/blog/products/ai-machine-learning/imagen-2-on-vertex-ai-is-now-generally-available
Imagen 2 效果到底如何呢?我们继续往下看。
提醒:「一张 32 岁女性在丛林中的照片,她是一位自然资源保护主义者;运动型短卷发,笑容温暖」。
提醒:深蓝色背景中的水母。
提醒:油画,一个桔子在砧板上。光穿过橙色的部分,在切菜板上投下橙色的光。背景中有一块蓝色和白色相交的布。焦散、反射光、富有表现力的笔触。
Imagen 2:更懂用户心思
为了创建更高质量、更准确以及更符合用户提醒的图片,Google DeepMind 在 Imagen 2 训练数据集中进行了一些更改,他们在图象形容(caption)中增添了更详细的形容,这样一来 Imagen 2 可以学习不同的形容并加以概括,从而更好地明白用户提醒。
经过增强的「图象 – 形容对」有助于 Imagen 2 更好地明白图象和文字之间的关系,从而增强对上下文和细微差别的明白。
以下是 Imagen 2 快速明白提醒的示例:
提醒:溪水潺潺,鸟儿唱着歌,它们混合的音乐在空中飘荡。(菲利斯・惠特利的《傍晚赞歌》)
提醒:知更鸟从摇曳的常春藤丛中飞到墙顶,张开喙,唱起响亮、可爱的颤音,只是为了炫耀。世界上没有什么比知更鸟炫耀时更可爱的了。—— 它们几乎总是这么做。(弗朗西斯・霍奇森・伯内特的《秘密花园》)
提醒:考虑一下海洋的微妙之处;其中最可怕的生物如何在水下滑行,大部分时间是不明显的,并且危险地隐藏在最美丽的蔚蓝色调之下。(赫尔曼・梅尔维尔的《白鲸》)
生成更真切的图象
Imagen 2 在数据集和模型方面改善了文本到图象工具经常遇到的许多问题,包括渲染真切的手和人脸,以及保持图象没有干扰视觉的伪影。
Imagen 2 生成真切手部和人脸的示例。
google团队根据人类对照明、取景、曝光、清晰度等品质的偏好,训练了一个专门的图象美学模型。每张图片都会得到一个美学评分,这有助于调整 Imagen 2,使其在训练数据集中对符合人类偏好的图片给予更多权重。这项技巧提高了 Imagen 2 生成高质量图象的能力。
使用 prompt「Flower」生成的图象,美学得分由低变高(从左到右)。
Imagen 2 甚至可以呈现图象中的文本。
它还可以为企业、品牌或产品设计 logo:
丝滑的格调调节
Imagen 2 基于分散技巧提供了高度的灵活性,使控制和调整图象格调变得更加容易。通过提供参照格调的图象并结合文字提醒,使用者可以调节 Imagen 2 生成相同格调的新图象。
Imagen 2 通过使用参照图片和文本提醒更容易地控制输入格调
「遥遥领先」的修理和扩图技巧
Imagen 2 还支持修理(inpainting)和扩图(outpainting)等图象编辑功能。通过提供参照图象和图象遮罩,用户可以使用修理技巧在原始图象中直接生成新实质,或者使用扩图技巧将原始图象扩展到边界之外。Google Cloud 的 Vertex AI 计划在新的一年采用这项技巧。
Imagen 2 可以通过修理技巧直接在原始图象中生成新实质。
通过扩图,Imagen 2 可以将原始图象扩展到边界之外。
有责任感的设计
为了帮助降低文本到图象生成技巧的潜在风险和挑战,google团队从设计、开发到产品部署都设置了严格的防护措施。
Imagen 2 与 SynthID 集成,SynthID 是用于水印和识别人工智能生成实质的尖端工具包,允许 Google Cloud 客户在不影响图象质量的情况下,直接在图象像素中增添不易察觉的数字水印。这样一来,即使在应用滤镜、裁剪或有损压缩等修改后,SynthID 仍能检测到水印。
在向用户发布功能之前,研究团队会进行严格的安全测试,以最大限度地降低伤害风险。从一开始,他们就对 Imagen 2 的训练数据安全下了很多功夫,并增添了技巧防护措施,限制暴力、攻击性或色情实质等有问题的输入。他们还在生成时对训练数据、输入提醒和系统生成的输入进行安全检查。例如,应用全面的安全过滤器,以避免生成有潜在问题的实质,如指定个人的图象。随着 Imagen 2 功能的不断扩展和推出,研究团队也在不断对其进行安全评估。
参照链接:https://deepmind.google/technologies/imagen-2/?utm_source=twitter&utm_medium=social