腾讯混元文生图大模型对外开源:搭载首个中英双语 DiT 架构,免费商用

感谢腾讯宣布旗下的混元文生图大模型升级并对外开源,目前已经在 Hugging Face 及 Github 上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费商用。▲ 混元文生图效果▲ 混元长文生图效果升级后的混元文生图大模型采用了与 Sora 一致的 DiT 架构,腾讯表示,混元 DiT 是首个中英双语 DiT 架构。混元 DiT 是一个基于 Diffusion transformer 的文本到图像生成模型,此模型具有中英文细粒度理解能力,混元 DiT 能够与用户进行多轮对话,根据上下文生
感谢腾讯宣布旗下的混元文生图大模型升级并对外开源,目前已经在 Hugging Face 及 Github 上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费商用

腾讯混元文生图大模型对外开源:搭载首个中英双语 DiT 架构,免费商用

▲ 混元文生图效果

腾讯混元文生图大模型对外开源:搭载首个中英双语 DiT 架构,免费商用

▲ 混元长文生图效果

升级后的混元文生图大模型采用了与 Sora 一致的 DiT 架构,腾讯表示,混元 DiT 是首个中英双语 DiT 架构。混元 DiT 是一个基于 Diffusion transformer 的文本到图像生成模型,此模型具有中英文细粒度理解能力,混元 DiT 能够与用户进行多轮对话,根据上下文生成并完善图像。这也是业内首个中文原生的 DiT 架构文生图开源模型,支持中英文双语输入及理解,参数量 15 亿。

腾讯混元文生图大模型对外开源:搭载首个中英双语 DiT 架构,免费商用

运行该模型需要支持 CUDA 的英伟达 GPU,单独运行混元 DiT 所需的最低显存为 11GB,同时运行 DialogGen(腾讯推出的文本转图像多模态交互式对话系统)和混元 DiT 则至少需要 32GB 的显存,腾讯表示他们已经在 Linux 上测试了英伟达的 V100 和 A100 GPU。

腾讯混元文生图大模型对外开源:搭载首个中英双语 DiT 架构,免费商用

▲ 配置要求

据IT之家此前报道,国内首个官方“大模型标准符合性评测”结果公布,腾讯混元大模型、成为首批通过评测的国产大模型,首批通过的大模型还有阿里通义千问、360 智脑和百度文心一言。

相关资讯

腾讯混元文生图开源大模型加速库发布:生图时间缩短 75%

腾讯今日发布针对腾讯混元文生图开源大模型(混元 DiT)的加速库,号称大幅提升推理效率,生图时间缩短 75%。官方表示,混元 DiT 模型的使用门槛也大幅降低,用户可以基于 ComfyUI 的图形化界面使用腾讯混元文生图模型能力。同时,混元 DiT 模型已经部署至 HuggingFaceDiffusers 通用模型库中,用户仅用三行代码即可调用混元 DiT 模型,无需下载原始代码库。在此之前,腾讯曾宣布混元文生图大模型全面升级并对外开源,供企业、个人开发者免费商用。腾讯方面称其为“业内首个”中文原生的 DiT 架构

腾讯混元文生图大模型开源训练代码,发布LoRA与ControlNet插件

6月21日,腾讯混元文生图大模型(以下简称为混元DiT模型)宣布全面开源训练代码,同时对外开源混元DiT LoRA 小规模数据集训练方案与可控制插件ControlNet。这意味着,全球的企业与个人开发者、创作者们,都可以基于混元DiT训练代码进行精调,创造更具个性化的专属模型,进行更大自由度的创作;或基于混元DiT的代码进行修改和优化,基于此构建自身应用,推动技术的快速迭代和创新。作为中文原生模型,用户在通过混元DiT的训练代码进行精调时,可以直接使用中文的数据与标签,无需再将数据翻译成英文。此前,腾讯混元文生图大

腾讯联合中山大学、港科大推出图生视频模型“Follow-Your-Pose-v2”

腾讯混元团队联合中山大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Pose-v2”,相关成果已经发表在 arxiv 上(IT之家附 DOI:10.48550/arXiv.2406.03035)。据介绍,“Follow-Your-Pose-v2”只需要输入一张人物图片和一段动作视频,就可以让图片上的人跟随视频上的动作动起来,生成视频长度可达 10 秒。与此前推出的模型相比,“Follow-Your-Pose-v2”可以在推理耗时更少的情况下,支持多人视频动作生成。此外,该模型具备较强的泛化能力,