AstaBrief-8B가 Claude보다 3.5배 빠르다고? 직접 재현해보니
왜 재봤나 AllenAI 블로그가 AstaBrief-8B를 소개하면서 "Claude 기반 파이프라인보다 3.5배 빠르다"고 썼다. 근데 테스트 조건(하드웨어, 쿼리 수, 비교 대상)이 원문에 전혀 안 적혀 있었다. 무료 Colab T4 하나로 직접 재볼 수 있겠다 싶어서 돌려봤다. 처음엔 틀렸다 첫 시도는 그냥 AstaBrief랑 Claude를 같은 프롬프트로 돌려서 시간 재는 거였다. 근데 두 가지가 비교를 왜곡했다. 비교 대상이 잘못됐었다 : AstaBrief는 사실 Qwen3-8B를 파인튜닝한 모델이다(블로그에 "We sta…
Read the full story at DEV Community — Machine Learning ↗
Timeline · 1 report
- 2026-10-05 11:05 · DEV Community — Machine Learning
AstaBrief-8B가 Claude보다 3.5배 빠르다고? 직접 재현해보니