业界首个支持9种语言的文图生成模型!智源AltDiffusion开源技术解读

AIGC(AI-Generated Content 人工智能生成内容)是当前 AI 领域最热门的话题之一,受到学界、业界的广泛关注。尤其是伴随着 OpenAI DALL·E 2 的推出到 Stable Diffusion 的开源,文图生成也从之前的研究探索发展到了具有商业化落地潜力的新兴技术。最近一段时间,随着文本生成图像跨模态应用的不断涌现,AIGC 更是火爆出圈,广受关注。然而,中文和其他语言的文图生成发展滞后于英语世界,大部分团队主要是基于翻译 API 英文 Stable Diffusion 模型进行开发

AIGC(AI-Generated Content 人工智能生成内容)是当前 AI 领域最热门的话题之一,受到学界、业界的广泛关注。尤其是伴随着 OpenAI DALL·E 2 的推出到 Stable Diffusion 的开源,文图生成也从之前的研究探索发展到了具有商业化落地潜力的新兴技术。最近一段时间,随着文本生成图像跨模态应用的不断涌现,AIGC 更是火爆出圈,广受关注。

然而,中文和其他语言的文图生成发展滞后于英语世界,大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发。在这个背景下,来自智源研究院的研究者通过搭建多语言文图表征模型 AltCLIP,提出了首个支持 9 种语言(英文、中文、日语、法语、韩语、西班牙语、俄语、意大利语、阿拉伯语)的文图生成模型 AltDiffusion。

该研究的主要贡献是搭建了一个多语言文图生成模型的基石,使得更多使用不同语言的创作者可以通过 AltDiffusion 模型进行创作。在 AltDiffusion 中可以观测到一些十分有意思的现象:不同的语言背后蕴含了不同的文化背景,这一点也在 AltDiffusion 生成的图片中有一定程度的反映。

为了方面大家更好的了解这一研究,在最新一期的线上分享中,机器之心邀请到了智源人工智能研究院自然语言和多模态研究负责人及 FlagAI 飞智开源项目负责人伍昱 (Ledell Wu) 为我们介绍关于多语言文图生成模型 AltDiffusion 和多语言多模态表征模型 AltCLIP。

业界首个支持9种语言的文图生成模型!智源AltDiffusion开源技术解读

分享主题:AltDiffusion: A multilingual text-to-image generation model

分享摘要:本次分享将介绍多语言文图生成模型 AltDiffusion 和多语言多模态表征模型 AltCLIP。AltCLIP 通过创新换塔和语言对齐等方式,搭建了一个支持多种语言的文图表征模型。AltDiffusion 使用 AltCLIP 作为文本表征,基于 Stable Diffusion 训练了支持 9 种语言的文图生成模型,为目前业界首个支持多种语言的文图生成模型。

嘉宾简介:伍昱(Ledell Wu),智源人工智能研究院自然语言和多模态研究负责人及 FlagAI 飞智开源项目负责人。Facebook AI Research(FAIR)初期成员之一,主导了 StarSpace、PyTorch-BigGraph 和 BLINK 等多个深度学习研究项目和相应工程落地。热爱研究,热爱技术,崇尚极客。

分享时间:北京时间11月28日19:00-20:00

加群看直播

直播间:关注机器之心机动组视频号,北京时间 11 月 28 日 19:00 开播。

业界首个支持9种语言的文图生成模型!智源AltDiffusion开源技术解读

机器之心机动组

交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。

业界首个支持9种语言的文图生成模型!智源AltDiffusion开源技术解读

如群已超出人数限制,请添加机器之心小助手syncedai6,备注「扩散模型」即可加入。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。

点击阅读原文,访问机动组官网,观看往期回顾;

关注机动组服务号,获取每周直播预告。

相关资讯

增大模型依然有用,DeepMind用2800亿参数的Gopher,测试语言系统极限

DeepMind 连发三篇论文,全面阐述大规模语言模型依然在进展之中,能力也在继续增强。近年来,国内外各大 AI 巨头的大规模语言模型(large language model,LLM)一波接着一波,如 OpenAI 的 GPT-3、智源研究院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而,当前语言模型存在着一些问题,比如逻辑推理较弱。那么,我们是否可以仅通过添加更多数据和算力的情况下改进这些问题呢?或者,我们已经达到了语言模型相关技术范式的极限?今日,DeepMind「一口气」发表了三篇论文,目的

复旦邱锡鹏:深度剖析 ChatGPT 类大语言模型的关键技术

内容来源:ChatGPT 及大模型专题研讨会分享嘉宾:复旦大教授 邱锡鹏分享主题:《对话式大型语言模型》转载自CSDN稿件ChapGPT 自问世以来,便展现出了令世人惊艳的对话能力。仅用两个月时间,ChatGPT 月活跃用户就达一亿,是史上用户增速最快的消费应用。对于学术界、工业界、或是其他相关应用来说都是一个非常大的机会和挑战。事实上,ChatGPT 的成功并不是偶然结果,其背后多有创新之处。本文整理于达观数据参与承办的「ChatGPT 及大模型专题研讨会」上,复旦大学邱锡鹏教授带来的《对话式大型语言模型》主题分

Meta用《圣经》训练超多语言模型:识别1107种、辨认4017种语言

在《圣经》中有一个巴别塔的故事,说是人类联合起来计划兴建一座高塔,希望能通往天堂,但神扰乱了人类的语言,计划也就因此失败。到了今天,AI 技术有望拆除人类语言之间的藩篱,帮助人类造出文明的巴别塔。