字节跳动在 5 月 15 日的“春季火山引擎 FORCE 原动力大会”中推出了豆包大模型(原名“云雀”),该模型主要面向行业场景,能够供给多种图文音频生成才能,IT之家整理如下:
豆包通用模型 pro:字节跳动自研 LLM 模型专业版,支撑 128k 长文本,全系列可精调,具备更强的理解、生成、逻辑等综合才能,适配问答、总结、创作、分类等丰富场景;
豆包通用模型 lite:字节跳动自研 LLM 模型轻量版,对比专业版供给更低 token 成本、更低延迟,为企业供给灵活经济的模型选择;
豆包・角色扮演模型:个性化的角色创作才能,更强的上下文感知和剧情推动才能,满足灵活的角色扮演需求;
豆包・语音合成模型:供给自然生动的语音合成才能,善于表达多种情绪,演绎多种场景;
豆包・声音复刻模型:可在 5 秒内实现声音 1:1 克隆,对音色相似度和自然度进行高度还原,支撑声音的跨语种迁移;
豆包・语音辨认模型:更高的准确率及灵敏度,更低的语音辨认延迟,支撑多语种的正确辨认;
豆包・文生图模型:更精准的文字理解才能,图文匹配更准确,画面效果更优美,擅长对中国文化元素的创作;
豆包・Function call 模型:供给更加准确的功能辨认和参数抽取才能,适合复杂工具调用的场景;
豆包・向量化模型:聚焦向量检索的使用场景,为 LLM 知识库供给核心理解才能,支撑多语言。
今日火山引擎官网更新了豆包大模型的定价详情,号称“在模型推理定价大幅低于行业代价的基础上,豆包通用模型的 TPM、RPM 均达到国内最高标准”、“代价比行业低 99%,TPM 限额则达同规格模型的 2.7 倍到 8 倍”;此外,相关模型还可使用“预付费”、“后付费”模式:
以豆包通用模型 pro-32k 为例: 按照 “预付费”模型单元代价估计,10K TPM 的包月代价为 2000 元。10K*60*24*30=43200K。
即 432000K Tokens 的代价为 2000 元,平均代价为 0.0046 元 / 千 Tokens。按照“后付费”模式估计:在模型推理的估计成本中,推理输出通常占绝大部分比例,业界一般认为推理输出是输出的 5 倍。
根据豆包通用模型 pro-32k 推理输出 0.0008 元 / 千 Tokens、推理输出 0.002 元 / 千 Tokens 估计,模型推理的综合代价为 0.001 元 / 千 Tokens。
官方表示,国内其他竞品模型的 TPM 限额大多在 100K 到 300K 之间,RPM 则是在 60 到 120 区间,轻量级模型的 RPM 限额相对较高,但仅仅在 300 到 500 之间。按照 10K RPM 限额估计,企业客户平均每秒可以同时调用 167 次豆包通用模型,从而满足绝大多数业务场景在生产系统的大模型应用需求。
官方同时强调,相关标准已经达到 OpenAI 为高级别客户( Tier4 及 Tier5 等级客户)供给的 RPM 上限。在算力挑战更大的长文本模型上,豆包通用模型 pro 和 lite 的 128k 版本,模型限流为 1K RPM 和 400K TPM,同样大幅高于国内其他的 128k 长文本模型,能够帮助企业以较低成本使用大模型、加速大模型应用落地。