S1MB 1위: 0토큰으로 판정해 디시전 엔진 리더보드를 제패하다
This story is from 2026-10-11. It is preserved in the archive; the latest stories are on the live feed.
요약 System One Mosaic Benchmark(S1MB) 디시전 엔진 리더보드에서 우리 모델 Darwin-27B-ZTC-v2가 102개 모델 중 1위입니다. Borda 점수 89.58, 태스크 평균 66.46. 핵심은 판정 방식입니다. 한 번의 순전파로, 생성 토큰 0개로 결정합니다. S1MB가 측정하는 것 S1MB는 타입드 결정 품질을 봅니다. 조건과 후보 선택지가 주어지면 모델이 맞는 것을 고르고 점수를 매깁니다. 텍스트 생성 벤치가 아니라 결정 벤치입니다. 출력이 타입드 정답키와 대조되므로 순위가 깔끔하고 재현됩니다…
Read the full story at DEV Community — Machine Learning ↗
Timeline · 1 report
- 2026-10-11 02:52 · DEV Community — Machine Learning
S1MB 1위: 0토큰으로 판정해 디시전 엔진 리더보드를 제패하다