这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

机器之能报道编辑:杨文以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何运用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能运用案例,来具体介绍AI运用方法,并激发大家思考。   我们也欢迎读者投稿亲自实践的创新型用例AI 视频圈子正卷生卷死。前两周,快手可灵、Luma、Runway 互相抡大锤,让 AI 视频陷入「累死自己卷死同行」的胶着局面。这周,AI 动漫转绘应用也发力了,无论是 Domo AI 推出融合气概功用,还是阿里巴巴开源类似项目

机器之能报道

编辑:杨文

以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何运用。

因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能运用案例,来具体介绍AI运用方法,并激发大家思考。   

我们也欢迎读者投稿亲自实践的创新型用例

AI 视频圈子正卷生卷死。

前两周,快手可灵、Luma、Runway 互相抡大锤,让 AI 视频陷入「累死自己卷死同行」的胶着局面。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

这周,AI 动漫转绘应用也发力了,无论是 Domo AI 推出融合气概功用,还是阿里巴巴开源类似项目 Diffutoon,均在社交媒体上引发关注。

截至目前,Diffutoon 项目已在 GitHub 上斩获 1.7k 颗星。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

-1-

一个月更新3次,还上线了网页版

DomoAI 是一款 AI 动漫转绘工具,由映刻科技推出,主要用于将图片和视频转化为动漫气概。

整个 6 月份,DomoAI 都在马不停蹄地更新:

6 月 22 日上线融合气概,允许用户通过提醒词自定义视频的气概、脚色形象和环境;

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

6 月 14 日推出「Subject Only」功用,用户可根据需要仅改变主角气概;

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

6 月 7 日新增三种模型气概 —— 文艺复兴气概、素描动漫气概、故事书气概。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

DomoAI 还提供多种其他功用,如文生图、动漫图象真人化等。

文生图:用户可以通过输出文本提醒词快速生成绘画和艺术作品。

动漫图象真人化:一键将动漫图象转换为真人气概。

脚色动态:上传一张人物图象和一个行动视频,DomoAI 可以让图象中的人物做出同样的行动。

口型同步:能够精确同步人物说话时的唇部行动,目前仅支持浮世绘、日式动漫、黏土卡通风以及 3D 卡通气概四种气概。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

此外,5 月中旬,DomoAI 正式上线网页版,用户们再也不用趴在 Discord 社区中一遍遍呼唤小机器人了。

-2-

一手测评:效果还行,收费体验额度太少

目前,DomoAI 既可在网页上运用,也可以在 discord 社区中收费体验。

其玩法很简单,我们就以网页版为例。

第一步:访问 DomoAI 的官网,运用谷歌邮箱登录,然后点击「Try on website」。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

链接https://domoai.app/

DomoAI 主要有四大功用,包括 AI 转绘、图生视频、文生图以及脚色动态。

第二步:我们点击「Video」图标,进入操作界面。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

第三步:上传视频并输出提醒词。

需要注意的是,上传的文件大小不超过 50MB,视频不超过 60 秒。

例如,我们上传了《玫瑰故事》里刘亦菲的一段视频,输出提醒词「女孩边走边看」。

接着,抉择 AI 模型并调整参数。

DomoAI 提供 34 种气概,涵盖素描风、日本动漫风、粘土风等。我们抉择了文艺复兴气概。

影片长度抉择默认的 3 秒、参考抉择更偏原片,长宽比抉择主动。

如果只想转绘画面主角、保留背景,则可以打开「只画主体」功用。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

等待大约三分钟,即可生成一段3秒的视频。我们来看一下效果:

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

不过,不管是网页版还是 Discord 社区,新注册用户只有 15 个收费积分,生成一个 3 秒视频就用完了。如果需要更多服务,则需要付费。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

-3-

卷起来!阿里开源 Diffutoon

实际上,阿里巴巴也悄咪咪的涉足该领域。

最近,阿里巴巴和华东师范大学联合开源了 Diffutoon。这是一种卡通渲染技术,可以将逼真的视频转换成动画气概,而且能够处理高分辨率、长时长的视频,还可以根据提醒来编辑实质。

代码:

https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/Diffutoon

论文:

https://arxiv.org/abs/2401.16224

地址:

https://ecnu-cilab.github.io/DiffutoonProjectPage/

具体来说,它利用扩散模型将现实气概的视频转换成动画风。这种转换不仅包括色彩和纹理的变化,还涉及对光影、轮廓等元素的艺术化处理,以模仿手绘动画的视觉效果。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

同时,它通过特定的算法和技术,确保视频序列中的每一帧在气概和实质上保持一致性,避免了视频播放时可能出现的闪烁、色彩突变或实质不连贯的问题。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

此外,它还具备主动着色功用,能够根据视频实质和气概要求主动抉择合适的色彩进行填充。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

视频链接:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

为了展示自家技术过硬,研发团队还将 Diffutoon 与市面上的竞品进行了对比,其中就包括 DomoAI。

真是「撞衫」不可怕,谁丑谁尴尬。

以后我们会通过新专栏带来更多 AIGC 案例演示,也欢迎大家进群交流。

这款AI神器一个月更新3次,我们用它搞了个动漫风《玫瑰的故事》

给TA打赏
共{{data.count}}人
人已打赏
应用

A2M人工智能创新峰会即将开幕!携手66家企业揭秘大模型标杆案例

2024-6-25 18:37:00

应用

比原始资料强8倍,清华、武汉理工团队用AI筛选高熵电介质资料

2024-6-25 19:15:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索