AWS Machine Learning Blog· Claudio Mazzoni·· 6 天前AI 评分46
AI 智能体的"土拨鼠之日"：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AWS 发文讲解如何在 Amazon Bedrock 上为 OpenAI 模型配置提示词缓存，让智能体无需每轮重发工具定义、指令和历史。隐式缓存由 Bedrock 自动选择可复用前缀，显式缓存通过 prompt_cache_breakpoint 标记断点，两者建议结合使用。测试中约 4,000 token 的工具与指令前缀首次写入 4,120 token，后续请求直接复用。
来源：AWS Machine Learning Blog · aws.amazon.com