氛围感拉满:微软新专利探索 Copilot AI 应用,匹配视频等生成音乐

科技媒体 Windows Report 昨日(10 月 4 日)发布博文,报道称微软公司获得了一项新的专利,构想 Copilot 在未来能辅助用户创建和视频、文本、PowerPoint 等匹配的音乐或者背景音乐。AI在线注:微软该专利名为《Artificial intelligence model for composing audio scores》,主要探讨了基于输入内容,来创建音乐的方法。该专利主要概述了以下步骤:收集数据:收集大量的训练数据,这些数据包括许多包含视频和音频组件的视听数据集。分析提取:分析数据

科技媒体 Windows Report 昨日(10 月 4 日)发布博文,报道称微软公司获得了一项新的专利,构想 Copilot 在未来能辅助用户创建和视频、文本、PowerPoint 等匹配的音乐或者背景音乐。

AI在线注:微软该专利名为《Artificial intelligence model for composing audio scores》,主要探讨了基于输入内容,来创建音乐的方法。

氛围感拉满:微软新专利探索 Copilot AI 应用,匹配视频等生成音乐

该专利主要概述了以下步骤:

收集数据:收集大量的训练数据,这些数据包括许多包含视频和音频组件的视听数据集。

分析提取:分析数据集并提取不同类型的特征。例如文本视频中的颜色、形状、运动和场景等等。

关联:Copilot 会分析这些特征并寻找它们之间的相关性。例如,某些场景(如日落)通常伴随着特定类型的音乐(如平静、舒缓的旋律)。

Copilot 将通过这些特性进行训练,并利用关联系统,生成与新视频的视觉和文本特征相匹配的适当音频评分。

在现实生活中,这项技术可以用于各种应用,例如:

电影和视频制作: 自动为电影、电视节目或在线视频生成背景音乐。

广告: 创作与商业广告的氛围和信息完美契合的音乐。

游戏: 制作基于游戏视觉和动作变化的动态配乐。

虚拟现实: 通过与视觉环境相适应的音频增强沉浸式体验。

其它场景:例如可以在求婚等场景下自动匹配合适的音乐。

相关资讯

抖音「神曲」那么多,字节跳动是如何玩转亿级曲库的?

在今年的音乐科技顶会 ISMIR 2021(International Society for Music Information Retrieval)上,字节跳动海外技术团队有 7 篇论文入选,涵盖了音乐分类、音乐标签、音源分离、音乐结构分析等多个技术方向。如今抖音已经成为音乐宣发的一个重要渠道。一支支音乐先在抖音上以短视频 BGM 火起来,再扩散到各大音乐平台上。抖音神曲甚至成了很多音乐平台的一个重要分类。有人说神曲能火是因为歌词和旋律简单,听得多了就印在脑子里。但是对一个有着海量用户、复杂多样内容场景的短视频

AI 根据声音内容帮照片“对口型”,蚂蚁集团开源 EchoMimic 项目

蚂蚁集团 10 日开源了名为 EchoMimic 的新项目,其能够通过人像面部特征和音频来帮人物“对口型”,结合面部标志点和音频内容生成较为稳定、自然的视频。该项目具备较高的稳定性和自然度,通过融合音频和面部标志点(面部关键特征和结构,通常位于眼、鼻、嘴等位置)的特征,可生成更符合真实面部运动和表情变化的视频。其支持单独使用音频或面部标志点生成肖像视频,也支持将音频和人像照片相结合做出“对口型”一般的效果。据悉,其支持多语言(包含中文普通话、英语)及多风格,也可应对唱歌等场景。 AI在线附相关链接:项目地址: G

AI在用 | 雷总,我把你的出道曲《Are You OK》搞成了动画MV

机器之能报道编辑:杨文以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。投稿邮箱:[email protected]还记得之前的 AI 让火柴人讲搞笑段子吗?(查看详情,请移步:AI 在用 | 免费!Adobe 一分钟生成火柴人搞笑动画,视频、配音一锅出)最近,我们又研究出一个新的玩法:让动画小人