Summary
AI 会话中,上下文压缩非常不积极,每次都等到上下文窗口接近满载才触发压缩。压缩过程同步阻塞,调用 AI 模型生成摘要期间会话完全卡住,用户体验很差。
以下是AI分析结果,仅供参考:
压缩触发阈值使用固定偏移量而非比例,导致不同 context window 大小下触发比例差异巨大
见:input_limit = context_window - 26,000 (output_reserve=16K + safety_reserve=10K)
压缩在 round 循环内同步执行(execution_engine.rs:2903),需调用 AI 模型生成摘要,期间会话完全阻塞。之前的 microcompact 预压缩层因破坏 KV cache 已移除(compression/mod.rs:3-11),移除后无替代的轻量级提前压缩机制。
我没有进一步探索,但是感觉我们需要在上下文压缩方面下点儿工夫。这段时间我经常用BitFun做远程开发(刚刚好用),但就是任务不能跑大了,挂机时间长了之后那效果惨不忍睹呀!
Area
Desktop app
Reproduction or evidence
AI会话长时累积之后即可复现,当会话压缩的时候会阻塞会话,需要一直等到压缩完成。
并且经过一两次压缩之后,LLM降智非常明显。
Environment, if relevant
No response
Summary
AI 会话中,上下文压缩非常不积极,每次都等到上下文窗口接近满载才触发压缩。压缩过程同步阻塞,调用 AI 模型生成摘要期间会话完全卡住,用户体验很差。
以下是AI分析结果,仅供参考:
我没有进一步探索,但是感觉我们需要在上下文压缩方面下点儿工夫。这段时间我经常用BitFun做远程开发(刚刚好用),但就是任务不能跑大了,挂机时间长了之后那效果惨不忍睹呀!
Area
Desktop app
Reproduction or evidence
AI会话长时累积之后即可复现,当会话压缩的时候会阻塞会话,需要一直等到压缩完成。
并且经过一两次压缩之后,LLM降智非常明显。
Environment, if relevant
No response