月之暗面 Kimi 开放平台上下文缓存 Cache 存储费用降价 50%:现价 5 元 / 1M tokens / min

感谢AI 独角兽公司月之暗面今日宣布,Kimi 开放平台的上下文缓存 Cache 存储费用降价 50%,Cache 存储费用由 10 元 / 1M tokens / min 降低至 5 元 / 1M tokens / min,即日起生效。7 月 1 日,Kimi 开放平台上下文缓存(Context Caching)功能开启公测。官方表示,该技术在 API 价格不变的前提下,可为开发者降低最高 90% 的长文本旗舰大模型使用成本,并提升模型响应速度。AI在线附 Kimi 开放平台上下文缓存功能公测详情如下:技术简介据
感谢AI 独角兽公司月之暗面今日宣布,Kimi 开放平台的上下文缓存 Cache 存储费用降价 50%,Cache 存储费用由 10 元 / 1M tokens / min 降低至 5 元 / 1M tokens / min,即日起生效。

月之暗面 Kimi 开放平台上下文缓存 Cache 存储费用降价 50%:现价 5 元 / 1M tokens / min

7 月 1 日,Kimi 开放平台上下文缓存(Context Caching)功能开启公测。官方表示,该技术在 API 价格不变的前提下,可为开发者降低最高 90% 的长文本旗舰大模型使用成本,并提升模型响应速度。

AI在线附 Kimi 开放平台上下文缓存功能公测详情如下:

技术简介

据介绍,上下文缓存是一种数据管理技术,允许系统预先存储会被频繁请求的大量数据或信息。当用户请求相同信息时,系统可以直接从缓存中提供,无需重新计算或从原始数据源中检索。

图片

适用场景

上下文缓存适用于频繁请求,重复引用大量初始上下文场景,可降低长文本模型费用,提高效率。官方表示费用最高降低 90 %,首 Token 延迟降低 83%。适用业务场景如下:

提供大量预设内容的 QA Bot,例如 Kimi API 小助手

针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具

对静态代码库或知识库的周期性分析,例如各类 Copilot Agent

瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles

交互规则复杂的 Agent 类应用等

图片

图片

计费说明

上下文缓存收费模式主要分为以下三个部分:

Cache 创建费用

调用 Cache 创建接口,成功创建 Cache 后,按照 Cache 中 Tokens 按实际量计费。24 元 / M token

Cache 存储费用

Cache 存活时间内,按分钟收取 Cache 存储费用。10 元 / M token / 分钟

Cache 调用费用

Cache 调用增量 token 的收费:按模型原价收费

Cache 调用次数收费:Cache 存活时间内,用户通过 chat 接口请求已创建成功的 Cache,若 chat message 内容与存活中的 Cache 匹配成功,将按调用次数收取 Cache 调用费用。0.02 元 / 次

图片

公测时间和资格说明

公测时间:功能上线后,公测 3 个月,公测期价格可能随时调整。

公测资格:公测期间 Context Caching 功能优先开放给 Tier5 等级用户,其他用户范围放开时间待定。

相关资讯

不到1000行代码,PyTorch团队让Llama 7B提速10倍

PyTorch 团队亲自教你如何加速大模型推理。在过去的一年里,生成式 AI 发展迅猛,在这当中,文本生成一直是一个特别受欢迎的领域,很多开源项目如 llama.cpp、vLLM 、 MLC-LLM 等,为了取得更好的效果,都在进行不停的优化。作为机器学习社区中最受欢迎框架之一的 PyTorch,自然也是抓住了这一新的机遇,不断优化。为此让大家更好的了解这些创新,PyTorch 团队专门设置了系列博客,重点介绍如何使用纯原生 PyTorch 加速生成式 AI 模型。代码地址:,PyTorch 团队展示了仅使用纯原生

月之暗面 Kimi 开放平台将启动 Context Caching 内测:提供预设内容 QA Bot、固定文档集合查询

月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测,届时将支持长文本大模型,可实现上下文缓存功能。▲ 图源 Kimi 开放平台官方公众号,下同据介绍,Context Caching(上下文缓存)是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本,原理如下:官方表示,Context Caching 可提升 API 的接口响应速度(或首字返回速度)。在规模化、重复度高的 prompt 场景,Context Caching 功能带

基于Transformer的大模型是如何运行的?Meta从全局和上下文学习揭秘

本文旨在更好地理解基于 Transformer 的大型语言模型(LLM)的内部机制,以提高它们的可靠性和可解释性。