128k context trên desktop là ảo tưởng: KV cache ăn hết RAM
This story is from 2026-09-22. It is preserved in the archive; the latest stories are on the live feed.
Originally published on NextFuture Bạn set num_ctx lên 128k cho con model 8B đang chạy ngon lành, rồi máy bắt đầu swap. Weights vẫn 16 GiB như cũ — thứ vừa ăn hết RAM là KV cache. Phép tính công khai và rất ngắn KV cache giữ hai tensor, keys và values, cho mỗi layer, mỗi KV head, mỗi token. Theo bà…
Read the full story at DEV Community — AI ↗
Timeline · 1 report
- 2026-09-22 23:00 · DEV Community — AI
128k context trên desktop là ảo tưởng: KV cache ăn hết RAM