凌晨三点，一个没有会话的进程还在跑

凌晨三点，一个没有会话的进程还在跑凌晨三点，我们的一台测试机器上有个进程没睡。它不是谁忘了关的服务，也没有会话连着它。在那台机器上，一个 O 系列的推理进程存活了几十个小时，输入早就停了。它占用的内存停在 0.381 MB，从第一个 token 到最后一个 token，这个数字没动过。那是个 125M 的模型。128k 上下文的那次测量里，同样的残留状态比常规做法小 1008 倍。我盯着那个数字看了很久。我们习惯的推理是这样的：请求来了，KV cache 长起来；请求走了，cache 清掉，进程回到一个干净的空壳。会话是它的全部。没有会话，它什么都不是。可那晚它是有东西的。它带着状态，…