Skip to content

[Bug]: 上下文压缩触发过晚且同步阻塞,导致会话卡顿 #1529

Description

@ococl

Summary

AI 会话中,上下文压缩非常不积极,每次都等到上下文窗口接近满载才触发压缩。压缩过程同步阻塞,调用 AI 模型生成摘要期间会话完全卡住,用户体验很差。

以下是AI分析结果,仅供参考:

压缩触发阈值使用固定偏移量而非比例,导致不同 context window 大小下触发比例差异巨大
见:input_limit = context_window - 26,000 (output_reserve=16K + safety_reserve=10K)
压缩在 round 循环内同步执行(execution_engine.rs:2903),需调用 AI 模型生成摘要,期间会话完全阻塞。之前的 microcompact 预压缩层因破坏 KV cache 已移除(compression/mod.rs:3-11),移除后无替代的轻量级提前压缩机制。

我没有进一步探索,但是感觉我们需要在上下文压缩方面下点儿工夫。这段时间我经常用BitFun做远程开发(刚刚好用),但就是任务不能跑大了,挂机时间长了之后那效果惨不忍睹呀!

Area

Desktop app

Reproduction or evidence

AI会话长时累积之后即可复现,当会话压缩的时候会阻塞会话,需要一直等到压缩完成。
并且经过一两次压缩之后,LLM降智非常明显。

Environment, if relevant

No response

Metadata

Metadata

Assignees

Labels

No labels
No labels

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions