AI在线 AI在线

单目视频运镜增强:TrajectoryCrafter 实现流畅自然的相机运动

作者:AI在线
2025-03-11 03:00
2025年3月10日,一项名为 TrajectoryCrafter 的前沿技术正式亮相,引发了科技界和视频创作领域的广泛关注。 这项基于扩散模型(diffusion models)的创新技术,能够从单一视角的单目视频中推断并生成全新的视角,为视频后期制作带来了革命性的可能性。 TrajectoryCrafter 的核心在于其强大的视角重定向能力。

2025年3月10日,一项名为 TrajectoryCrafter 的前沿技术正式亮相,引发了科技界和视频创作领域的广泛关注。这项基于扩散模型(diffusion models)的创新技术,能够从单一视角的单目视频中推断并生成全新的视角,为视频后期制作带来了革命性的可能性。

TrajectoryCrafter 的核心在于其强大的视角重定向能力。传统的单目视频受限于单一相机视角,创作者往往无法在后期调整拍摄角度或运镜方式。而 TrajectoryCrafter 通过扩散模型的深度学习技术,能够分析视频内容并推演出三维空间信息,从而允许用户在后期自由调整相机位置和角度。无论是绕着物体旋转、拉近镜头捕捉细节,还是拉远镜头展现全景,这项技术都能轻松实现。更令人兴奋的是,它甚至支持类似“子弹时间”(bullet time)的特效——冻结时间,同时让镜头环绕主体旋转,带来极具冲击力的视觉体验。

此外,rajectoryCrafter 支持六自由度(6DoF)的相机调整,这意味着用户不仅可以控制镜头的前后左右移动,还能调整俯仰、偏航和滚转角度。这种灵活性为视频编辑者提供了前所未有的创作自由。例如,一段简单的手机拍摄视频,经过 TrajectoryCrafter 的处理,可以变成仿佛由专业摄影设备拍摄的多角度动态画面。

技术的开发者在公开页面上展示了多个令人印象深刻的案例。例如,在一段记录街头表演的单目视频中,TrajectoryCrafter 成功生成了从不同角度观察表演者的镜头,甚至模拟了镜头从低角度缓缓升至高空的运镜效果。演示视频还显示,该技术能够处理复杂的动态场景,确保生成的视角保持时间和空间上的一致性。

目前,TrajectoryCrafter 的代码和演示已在网上公开,供开发者和研究人员体验与测试。这一技术的问世不仅推动了人工智能在视频生成领域的进步,也为普通用户提供了更具创意的工具。业内人士预测,TrajectoryCrafter 可能会改变短视频创作、影视后期制作乃至虚拟现实内容的生成方式。

TrajectoryCrafter 官网: https://trajectorycrafter.github.io/

TrajectoryCrafter 在线试用: https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter

相关资讯

扩散模型也能推理时Scaling,谢赛宁团队重磅研究可能带来文生图新范式

对于 LLM,推理时 scaling 是有效的! 这一点已经被近期的许多推理大模型证明:o1、o3、DeepSeek R1、QwQ、Step Reasoner mini…… 但这个说法也适用于扩散模型吗? 近日,纽约大学谢赛宁领导的一个团队对这一方向进行了探索。
1/18/2025 6:47:00 PM
机器之心

线性扩散模型LiT来了,用极简线性注意力助力扩散模型AIPC时代端侧部署

AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。 如果您有优秀的工作想要分享,欢迎投稿或者联系报道。
1/31/2025 10:30:00 PM
机器之心

Light-A-Video :无需训练实现视频重新打光

近年来,图像重光照技术的进步得益于大规模数据集和预训练的扩散模型,使得一致性光照的应用变得更加普遍。 然而,在视频重光照领域,由于训练成本高昂以及缺乏多样化和高质量的视频重光照数据集,进展相对缓慢。 仅仅将图像重光照模型逐帧应用于视频,会导致多种问题,如光源不一致和重光照外观不一致,最终导致生成的视频出现闪烁现象。
2/17/2025 11:00:58 AM
AI在线