实时AI,最难躺平的战场

机器之能报道编辑:Sia有人预测 2024 将是视频之年,其实今年已经看出端倪。年终将至,图像、视频生成战场仍然高潮迭起。前阵子上线的 Pika Labs 1.0 炸了一波,Meta 又推出一个免费的 AI 图像生成器,口碑不错。谷歌 DeepMind 最新文生图模型  Imagen 2 毫无悬念地登上了今天的头条 。如果有内测资格,你会发现谷歌搜索居然可以直接生图。进入谷歌实验室,测试中的谷歌搜索可以直接生图了。与此同时,之前热度不减、但一直处在内测阶段的 AI 设计工具 Krea AI Beta 版也终于开放,

机器之能报道

编辑:Sia

有人预测 2024 将是视频之年,其实今年已经看出端倪。

年终将至,图像、视频生成战场仍然高潮迭起。前阵子上线的 Pika Labs 1.0 炸了一波,Meta 又推出一个免费的 AI 图像生成器,口碑不错。

谷歌 DeepMind 最新文生图模型  Imagen 2 毫无悬念地登上了今天的头条 。如果有内测资格,你会发现谷歌搜索居然可以直接生图。

实时AI,最难躺平的战场

进入谷歌实验室,测试中的谷歌搜索可以直接生图了。

与此同时,之前热度不减、但一直处在内测阶段的 AI 设计工具 Krea AI Beta 版也终于开放,现在可以免费体验(部分功能)。

图片

与一般文生图工具稍有不同的是,Krea AI 主打一个实时性。它是一个创意工具包,除了当红的实时生成工具(Real-time Generation )、增强工具( upscale&enhance ),还有几个特定功能的小工具。

背靠 2,500 多个 AI 模型,Krea AI 可以应对不同艺术风格品味的需求。尤其是实时生成工具,凭借惊人的生成速度和对画面效果的精准控制,备受瞩目。实时生成工具提供四种生成方式(界面左边):文本到图片、图生图、屏幕(比如截屏、壁纸)生图、直接拍摄生图。还可以选择几种图片效果(界面右边),比如没有指定风格、插图、电影、流光等。

图片Krea AI的网页产品界面

中间是一个看板,也是体验何谓「实时」的地方—— 输入文本提示时,每敲一个单词、或者删除一个单词,图片内容都会立刻随之变化。比如,当我们输入「一个叫尼尔斯的男孩」时,画面是这样的:

图片

输完  「一个叫尼尔斯的男孩儿,骑着一只飞翔的大鹅」时,画面变成了这样:

图片

当我们继续添加「带条围巾」时,画面又变了:

图片

与「文生图」不同,「图生图」对作品效果控制力更好。因为除了文本,你还可以借助一些简单的线条、色块工具,涂鸦几笔,勾勒作品的大致轮廓,供机器加强「理解」。我们先用工具画了个非常简单的猪头:

图片

然后,输入文本提示「一头微笑的猪」,结果就出来了:

图片

这是网友的作品,是不是很漂亮:

图片

一位网友仅用四分钟,就将自己孩子一样的涂鸦变成了一幅逼真的 AI 肖像:

实时AI,最难躺平的战场

来自 x平台网友 titus  

这是官方给到的展示:

实时AI,最难躺平的战场

正如前文所述,除了文本、涂鸦,你还可以通过捕获设备屏幕的内容(比如网页、视频)或者用摄像头获取图片来源,然后输入文本提示,生成新的图像作品。

实时生成图片,难免模糊、分辨率低,你还想让作品细节更完美,这时, Upscale & Enhance 就派上用场了—— AI 能以更高分辨率、甚至想象力重新创建视觉内容。因为是付费服务,我们选用了一些官方和网友的体验案例:

实时AI,最难躺平的战场

你可以调节 AI 发挥自己创造力的程度,如果很高的话,原图被修改的幅度也会很大。比如,这个作品里,美女的脸都被换了。

实时AI,最难躺平的战场

来自x平台 Dona Mara

这也是 AI 生成工具和传统数学算法类润色工具的主要区别,前者会用自己的想象力替换像素内容,而不是刻板遵守。

除了速度和效果,任何新设计工具要想具有生命力,还必须具有良好的兼容性——能与常见的设计工具无缝对接,比如 Photoshop、Illustrator、Figma、Blender、Sketchfab 等。Krea 也是如此。

另外,Krea AI 还有一个引人注目的功能——能与 iPad 无缝连接。看,这个孩子寥寥数笔就创造了蜘蛛侠:

实时AI,最难躺平的战场另外,Krea AI 还有两个特定功能的小工具,但都不提供实时生图体验。输入要求后,需要等一定时间才能看到结果。一个是 AI pattern  ,输入文本提示,再选择你要的图案,即可以生成带有该图案的图像。

图片图片来自 https://ratemyaitools.com/author/rakeshai/

图片图片来自https://ratemyaitools.com/author/rakeshai/另一个是 Logo Illustration 。和 pattern 功能类似,只不过图案变成了这里的 Logo,专门生成 Logo 形状相关图像。图片图片来自https://ratemyaitools.com/author/rakeshai/图片图片来自https://ratemyaitools.com/author/rakeshai/

写到这里,还没卷完。其实,在 Krea AI 推出增强工具之前,他的竞争对手 Magnific AI 已经发布了类似功能:

实时AI,最难躺平的战场x平台网友Dave Villalva,用Magnific AI重制《星球大战》预告片

除了图片,AI 的增强能力还被扩展到视频上。

Upscale-A-Vide 是南洋理工大学 S-Lab 实验室开发的一个用于视频超分辨率的时间一致性扩散模型,结合低分辨率视频和文本提示,能将低分辨率视频转换为高分辨率。

是啊,谁不想看到童年最爱卡通片的 4k 版本? 

实时AI,最难躺平的战场

实时生图方面,不想 Krea AI 专美于前,  Leonardo AI 前几天也宣布推出实时绘图工具「实时画布」。

实时AI,最难躺平的战场

Freepik 的实时草图到图像生成器「Pikaso」也上线了,让涂鸦立刻变成画作:图片

更疯狂的,Decohere AI 也预告了他们新的实时 AI 视频生成平台。

实时AI,最难躺平的战场

有兴趣尝试的网友,这里是一些传送门 

https://www.krea.ai/home

https://www.freepik.com/pikaso

https://leonardo.ai/

https://magnific.ai/

相关资讯

颠覆传统工作流!Krea AI 的实时生成功能究竟有多疯狂?

大家好,这里是和你们一起探索 AI 绘画的花生~ 上周为大家介绍了 LCM 技术,它可以在 3 秒内生成 4 张图像,速度惊人;文章内还有 2 个视频,显示了依靠 LCM 实现图像实时生成的效果,视频内用到的工具就是 Krea AI。最近我也拿到 Krea AI 实时生成功能的内测名额,体验后真的被惊艳到了,今天我们就一起来看看 Krea AI 有哪些神奇之处。 上期回顾:一、Krea AI 简介 Krea.AI 官网: 官方 Discord 邀请链接: Krea AI 是一个 AI 智能设计工具,功能包括文生

微软探索音生图 AI 模型,实时视觉化会议演讲者语音讲述的场景

科技媒体 MSPoweruser 昨日(10 月 14 日)发布博文,报道称微软公司获得了一项新的专利,描述了基于用户实时输入的语音来生成图片。根据美国商标和专利局最新公示的清单,该专利共计 20 页,微软于 2023 年 4 月 5 日提交申请,于 10 月 10 日获批。根据专利描述,该系统可以在会议或讲座中实时捕捉音频,随后通过语言模型进行总结,并生成相应的 AI 图像。

字节豆包大模型已支持实时语音通话

IT 之家 8 月 9 日消息,字节跳动旗下火山引擎今日宣布推出对话式 AI 实时交互解决方案,搭载火山方舟大模型服务平台。该方案通过火山引擎 RTC 实现语音数据的采集、处理和传输,并深度整合豆包・语音识别模型和豆包・语音合成模型,简化语音到文本和文本到语音的转换过程,提供智能对话和自然语言处理能力,帮助应用实现用户和云端大模型的实时语音通话。▲ 对话式 AI 实时交互服务方案架构字节跳动介绍称,对话式 AI 实时交互解决方案支持开箱即用快速搭建,只需调用标准的 OpenAPI 接口即可配置所需的语音识别(ASR