ControlNeXt

视频生成控制提升几十倍,新一代轻量级ControlNeXt火了,贾佳亚团队正挑战Scaling Law

最近,又一款国产 AI 神器吸引了众网友和圈内研究人员的关注!它就是全新的图像和视频生成控制工具 —— ControlNeXt,由思谋科技创始人、港科大讲座教授贾佳亚团队开发。                                X 平台上知名 AI 博主「AK」推荐从命名来看,ControlNeXt 「致敬」了斯坦福大学研究团队在 2023 年 2 月提出的 ControlNet,通过引入一些额外的控制信号,让预训练的图像扩散模型(如 Stable Diffusion)根据预设的条件调整和优化,实现线稿

蜘蛛侠妖娆起舞,下一代 ControlNet 来了!贾佳亚团队推出,即插即用,还能控制视频生成

只用不到 10% 的训练参数,就能实现 ControlNet 一样的可控生成!而且 SDXL、SD1.5 等 Stable Diffusion 家族的常见模型都能适配,还是即插即用。同时还能搭配 SVD 控制视频生成,动作细节控制得精准到手指。在这些图像和视频的背后,就是港中文贾佳亚团队推出的开源图像 / 视频生成引导工具 ——ControlNeXt。从这个名字当中就能看出,研发团队给它的定位,就是下一代的 ControlNet。像大神何恺明与谢赛宁的经典大作 ResNeXt(ResNet 的一种扩展),起名字也是
  • 1