你的 KV Cache，记得你删掉的上下文
在《浅谈 Agent 的 Memory 发展》里我聊过：当 LLM 从语言模型变成 Agent 的大脑，上下文管理就成了绕不开的难题。交互不断累积，窗口迟早会满，总得丢掉些东西。今天主流的做法无非两种——把最老的文本截断、对保留下来的部分重新 prefill；或者按重要性对 token 做选择性驱逐。 ...
大模型
在《浅谈 Agent 的 Memory 发展》里我聊过：当 LLM 从语言模型变成 Agent 的大脑，上下文管理就成了绕不开的难题。交互不断累积，窗口迟早会满，总得丢掉些东西。今天主流的做法无非两种——把最老的文本截断、对保留下来的部分重新 prefill；或者按重要性对 token 做选择性驱逐。 ...