DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下载

本文经AIGC Studio公众号授权转载,转载请联系出处。 今天给大家介绍DeepSeek发布的Janus-Pro模型的ComfyUI实践教程,包含ComfyUI安装,模型下载,工作流下载等,欢迎大家一起交流学习,也欢迎添加公众号小助手加入读者交流群,一起探索AIGC好玩的应用。 Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。

本文经AIGC Studio公众号授权转载,转载请联系出处。

今天给大家介绍DeepSeek发布的Janus-Pro模型的ComfyUI实践教程,包含ComfyUI安装,模型下载,工作流下载等,欢迎大家一起交流学习,也欢迎添加公众号小助手加入读者交流群,一起探索AIGC好玩的应用。

Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。

ComfyUI 的 Janus-Pro 节点是一个统一的多模态理解和生成框架。

DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下载

安装方法

1. 通过 ComfyUI Manager 安装(推荐)

  • 安装 ComfyUI-Manager
  • 在管理器中搜索 "Janus-Pro"
  • 点击安装

2. 手动安装

将此仓库克隆到你的 ComfyUI 的 custom_nodes 文件夹中:

复制
cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

安装所需依赖: Windows系统:

复制
# 如果你使用ComfyUI便携版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt
复制
# 使用ComfyUI的Python环境
cd ComfyUI-Janus-Pro
../../python_embeded/bin/python -m pip install -r requirements.txt

# 或者使用你的环境
cd ComfyUI-Janus-Pro
python -m pip install -r requirements.txt

安装注意

如果你遇到安装问题可以从一下几个方面排查问题:

  • 确保已安装 git
  • 尝试更新 pip:
复制
python -m pip install --upgrade pip
  • 如果使用代理,确保 git 可以访问 GitHub
  • 确保使用的是与 ComfyUI 相同的 Python 环境

模型下载

  • 将模型文件放在 ComfyUI/models/Janus-Pro 文件夹中:
  • 在 ComfyUI 的 models 目录下创建 Janus-Pro 文件夹
  • 从 Hugging Face 下载模型:
  • Janus-Pro-1B:https://huggingface.co/deepseek-ai/Janus-Pro-1B
  • Janus-Pro-7B:https://huggingface.co/deepseek-ai/Janus-Pro-7B
  • 将模型解压到各自的文件夹中:
复制
ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/

工作流下载

需要的小伙伴可以在公众号发送以下内容获取工工作流:

DeepSeek工作流

这个工作流节点包含了图像描述和图像生成

DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下载

  • 在序号1 选择 1B 或者 7B 模型
  • 在序号2 上传你需要用于 Janus Pro 解读的图片
  • 在序号3 可以调整用于图片描述的 Prompt, - 我测试过中文、英文、日语输入都没有问题,但是如果你需要特定语言的输出,请你在 prompt 中声明,类似 请使用日语输出 这样的要求
  • 序号4 是一个展示 文本的节点,我这里使用的是ComfyUI-Custom-Scripts 插件中的 Show Text 节点
  • 在序号5 中输入用于图像生成的 prompt

相关资讯

港科大提出端侧文生图模型SnapGen,参数仅SD十分之一,1.4秒内生成1024分辨率图像

本文经AIGC Studio公众号授权转载,转载请联系出处。 这项工作提出了一种新颖且高效的 T2I 模型SnapGen,SnapGen 是第一个可以在1.4秒内在移动设备上合成高分辨率图像(1024x1024 ) 的图像生成模型(379M ) ,并在 GenEval 指标上 达到0.66。 该模型全面超越了许多现有的数十亿参数模型,例如 SDXL、Lumina-Next 和 Playgroundv2。

六大维度,LLM「问题生成」首次正面PK人类!伯克利等发布最新研究

长期以来,问题生成(Question Generation)任务都是根据「给定事实」来编写各种相关问题,已经发展出了很多自动化的方法。 大型语言模型(LLM)的兴起,极大提升了各种自然语言处理(NLP)任务的性能,其中也包括问题生成,虽然应用广泛,但还没有研究讨论过「用LLMs生成问题的特点」。 没有额外提示约束时,LLMs是更倾向于生成较长还是较短的问题?

美国新法案:禁止进口中国DeepSeek,违规罚1亿美元、监禁

在国内大模型DeepSeek席卷全球致使美国科技股暴跌后,美国参议员Josh Hawley提出《美国AI能力与中国脱钩》法案,以保护美国的AI开发不受中国影响。 Hawley在序言中写道:“流入中国AI的每一美元和每一字节数据,最终都会被用来对付美国。 美国不能在牺牲自身实力的情况下,增强我们最大的对手。