Seu agente não é consistente: por que uma única execução não prova que ele funciona
This story is from 2026-10-13. It is preserved in the archive; the latest stories are on the live feed.
O mesmo agente, o mesmo modelo, o mesmo prompt e o mesmo ambiente. Rode de novo. O resultado muda. O paper Identical Runs, Different Results: Benchmarking AI Coding Agents on Open-Weight Models (arXiv:2609.33812) repetiu seis combinações agente-modelo 52 vezes cada, sob configuração fixa - dados, p…
Read the full story at DEV Community — AI ↗
Timeline · 1 report
- 2026-10-13 11:34 · DEV Community — AI
Seu agente não é consistente: por que uma única execução não prova que ele funciona