你的 KV Cache，记得你删掉的上下文
在《浅谈 Agent 的 Memory 发展》里我聊过：当 LLM 从语言模型变成 Agent 的大脑，上下文管理就成了绕不开的难题。交互不断累积，窗口迟早会满，总得丢掉些东西。今天主流的做法无非两种——把最老的文本截断、对保留下来的部分重新 prefill；或者按重要性对 token 做选择性驱逐。 ...
Posts
浅谈Agent的Memory发展
随着LLM的地位完成了从语言模型到Agent 大脑的转变，LLM愈发需要进行长期持久性的上下文管理，这对原有的RAG和memory技术形成了新的挑战，本文将从该角度出发，阐述最近memory管理的最新研究进展 ...