谷歌发布多模态直播 API:解锁看、听、说,开启 AI 音视频交互新体验

谷歌昨日在发布 Gemini 2.0 的同时,还发布了全新的多模态直播(Multimodal Live)API,帮助开发人员开发具有实时音频和视频流功能的应用程序。

谷歌昨日在发布 Gemini 2.0 的同时,还发布了全新的多模态直播(Multimodal Live)API,帮助开发人员开发具有实时音频和视频流功能的应用程序。

谷歌发布多模态直播 API:解锁看、听、说,开启 AI 音视频交互新体验

该 API 实现了低延迟、双向的文本、音频和视频交互,以音频和文本形式输出,带来更自然流畅、如同人类对话般的交互体验。用户可以随时打断模型,并通过共享摄像头输入或屏幕录像与其进行互动,就内容提问。

该模型的视频理解功能扩展了通信模式,用户能够使用摄像头实时拍摄或共享桌面并提出相关问题。该 API 已经向开发者开放,同时也向用户提供了一个多模态实时助手的演示应用。AI在线附上演示如下:

该 API 支持集成多种工具,开发者只需一次 API 调用,即可完成复杂的用例。

相关资讯

消息称谷歌将推出明星网红 AI 聊天机器人,与 Meta 竞争

根据 The Information 爆料消息,谷歌正在基于明星和 YouTube 网红构建新的 AI 聊天机器人。这个想法并不是谷歌首创的,目前包括 Character.ai 这样的初创公司,以及像 Meta 这样的大公司已经推出了类似的产品。爆料称,谷歌的明星网红 AI 聊天机器人将由该公司的 Gemini 大语言模型提供支持。该公司还在尝试与有影响力的明星网红建立合作伙伴关系,并且还在开发一项功能,让人们只需描述自己的个性和外表就可以创建自己的聊天机器人,类似 Character.ai 的做法。IT之家还发现

谷歌Gemini1.5火速上线:MoE架构,100万上下文

今天,谷歌宣布推出 Gemini 1.5。Gemini 1.5 建立在谷歌基础模型开发和基础设施的研究与工程创新的基础上,包括通过新的专家混合 (MoE) 架构使 Gemini 1.5 的训练和服务更加高效。谷歌现在推出的是用于早期测试的 Gemini 1.5 的第一个版本 ——Gemini 1.5 Pro。它是一种中型多模态模型,针对多种任务的扩展进行了优化,其性能水平与谷歌迄今为止最大的模型 1.0 Ultra 类似,并引入了长上下文理解方面的突破性实验特征。Gemini 1.5 Pro 配备了 128000

谷歌最高优先级项目曝光:下一代AI搜索,誓要打败ChatGPT

岁末年初,科技公司似乎集体进入了反思阶段。过去一个月里,谷歌创始人拉里・佩奇、谢尔盖・布林与公司高管一直在开会,讨论新型 AI 聊天机器人。