据“书生 Intern”官方公众号 28 日推文,书生・天际 3.0 实景三位大模型现已开源发布,渲染效率提速近 6 倍,同时将应用方式拓展至 VR 设备。
此前在去年 7 月,上海人工智能实验室联合多家机构发布了书生・天际(LandMark)实景三维大模型,号称首次实现城市级 100 平方公里全范围实时渲染。
据介绍,书生・天际 3.0 在 Web 端的基础上,将应用方式拓展至 VR 设备,用户戴上 VR 眼镜,既可在名胜古迹、城市街景或博物馆中自由穿梭、探索,也可在重建的三维实景中对场景进行更直观、更自由的编辑。
此外,书生・天际 3.0 拥有了更全尺度场景的 3D 建模能力,可覆盖单个物体、室内布局及城市场景,面向更真实、立体的生活及生态空间呈现。
渲染效率方面,书生・天际 3.0 相比于上一代模型提升了 5.84 倍。面对不同尺度场景对实时渲染算力需求的区别,结合算力需求与硬件性能,可对计算资源进行弹性调度。
此外,研究人员还提出了连续渲染静态重用技术,渲染精度较传统方法提升 36.93%,保证了成像流畅度。在书生・天际 3.0 中,室内场景中实现 120FPS 的流畅表现,在室外场景中则能保持稳定的 72FPS。
研究人员同时也提出首个针对 3D 高斯(3D Gaussian)渲染的双目去冗融合渲染技术,在不增加额外算力的情况下可实现消除双目视差。
AI在线附开源链接如下:
书生・天际算法代码:
https://github.com/InternLandMark
书生・天际系统开源代码:
https://github.com/InternLandMark/LandMarkSystem