Claude推出消息线程功能,长上下文智能体首Token延迟降低约35%
talkingdev • 2026-11-03
1378 views
Anthropic近日在Messages API中正式发布消息线程(Message Threads)功能的公开测试版,为长运行智能体场景带来显著的延迟优化。此前,智能体在多轮交互中通常需要将完整对话历史随每轮请求一并发送,导致上下文越长、请求开销越大。消息线程允许开发者将对话一次性发送,后续每轮仅上传新增消息,API会自动合并历史与当前输入,从而避免重复传输海量token。官方数据显示,在处理50万至100万token的请求时,该功能将首Token时间中位数降低了约35%,且并不改变token使用量。这一改进对需要长时间任务执行、复杂工具调用或大规模文档处理的AI智能体尤为重要,既能降低响应延迟,也有助于简化客户端状态管理和提升开发效率。消息线程的推出进一步强化了Claude平台面向企业级智能体工作负载的工程能力。
核心要点
- Anthropic在Messages API中推出消息线程公开测试版,支持仅发送新增消息而非完整对话历史
- 在50万至100万token请求中,首Token时间中位数降低约35%,且token用量保持不变
- 该功能主要面向长运行智能体,降低多轮交互延迟并简化开发流程