- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
kimi开放平台contextcaching功能将启动内测
6月19日消息，月之暗面官宣Kimi开放平台ContextCaching功能将启动内测，届时将支持长文本大模型，可实现上下文缓存功能。
▲图源Kimi开放平台官方公众号，下同
据介绍，ContextCaching（上下文缓存）是由Kimi开放平台提供的一项高级功能，可通过缓存重复的Tokens内容，降低用户在请求相同内容时的成本，原理如下：
官方表示，ContextCaching 可提升API的接口响应速度（或首字返回速度）。在规模化、重复度高的prompt场景，ContextCaching功能带来的收益越大。
ContextCaching适合于用频繁请求，重复引用大量初始上下文的情况，通过重用已缓存的内容，可提高效率降低费用，适用业务场景如下：
提供大量预设内容的QABot，例如KimiAPI小助手。
针对固定的文档集合的频繁查询，例如上市公司信息披露问答工具。
对静态代码库或知识库的周期性分析，例如各类CopilotAgent。
瞬时流量巨大的爆款AI应用，例如哄哄模拟器，LLMRiddles。
交互规则复杂的Agent类应用，例如什么值得买Kimi+等。
官方后续将发布ContextCaching功能的场景最佳实践/计费方案/技术文档
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-06-20 12:45:03
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
