RTX 5070 Ti 16 Go + 64 Go RAM : Flash-Next à 85-110 t/s en service réel (262k ctx), + essai DeepSeek-V4.1-Flash 2.00 bpw (257 Go sur NVMe) fonctionnel!
Suite de mon post d'il y a quelques semaines (même machine). Beaucoup a changé depuis : le quant de Flash-Next a été remplacé, le serveur aussi, le 27B dense est parti, et j'ai fait tourner DeepSeek-V4.1-Flash en reél. Comme la dernière fois : tout est mesuré sur la machine, je suis preneur de tout…
Read the full story at r/LocalLLM ↗