月之暗面官宣 Kimi 开放平台 Context Caching 性能将启动内测，届时将支持长文本大模型，可实现上下文缓存性能。▲ 图源 Kimi 开放平台民间公众号，下同据介绍，Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级性能，可通过缓存反复的 Tokens 实质，降低用户在哀求相同实质时的成本，原理以下：民间表示，Context Caching 可提升 API 的接口响应速度（或首字返回速度）。在规模化、反复度高的 prompt 场景，Context Caching 性能带
月之暗面官宣 Kimi 开放平台 Context Caching 性能将启动内测，届时将支持长文本大模型，可实现上下文缓存性能。
▲ 图源 Kimi 开放平台民间公众号，下同
据介绍，Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级性能，可通过缓存反复的 Tokens 实质，降低用户在哀求相同实质时的成本，原理以下：
民间表示，Context Caching 可提升 API 的接口响应速度（或首字返回速度）。在规模化、反复度高的 prompt 场景，Context Caching 性能带来的收益越大。
Context Caching 适合于用一再哀求，反复引用大量初始上下文的情况，通过重用已缓存的实质，可提高效率降低费用，适用业务场景以下：
提供大量预设实质的 QA Bot，例如 Kimi API 小助手。
针对固定的文档集合的一再查询，例如上市公司信息披露问答工具。
对静态代码库或知识库的周期性分析，例如各类 Copilot Agent。
瞬时流量巨大的爆款 AI 运用，例如哄哄模拟器，LLM Riddles。
交互规则复杂的 Agent 类运用，例如什么值得买 Kimi+ 等。
民间后续将发布 Context Caching 性能的场景最佳实践 / 计费方案 / 技术文档，IT之家将保持关注，并在第一时间带来相关报道。