Os agentes de código convergiram: por que o ranking do SWE-bench já não ordena os melhores?
This story is from 2026-09-16. It is preserved in the archive; the latest stories are on the live feed.
Pequenas diferenças no leaderboard viraram ranking. Não deveriam. Um paper de 15 de setembro de 2026 auditou 254 submissões do SWE-bench — sem rodar modelo nenhum, apenas analisando o que já estava publicado. Os Dados da Convergência Sobreposição alta: No split Verified , os dois primeiros resolvem…
Read the full story at DEV Community — AI ↗
Timeline · 1 report
- 2026-09-16 12:06 · DEV Community — AI
Os agentes de código convergiram: por que o ranking do SWE-bench já não ordena os melhores?