추론 전용 NPU로 LLM 사전학습이 가능할까? 3억 2,500만 파라미터를 0부터 학습해 B200과 같은 품질을 냈다
This story is from 2026-10-26. It is preserved in the archive; the latest stories are on the live feed.
요약 가능합니다. 단, 학습용 소프트웨어를 따로 만들어야 합니다. 비드래프트는 3억 2,560만 파라미터 언어모델 VKORE-325M-NPU-Base 를 무작위 초기값에서 출발해 리벨리온 ATOM-Max (2025년 출시된 상용 추론 전용 NPU)로 사전학습했습니다. 같은 모델을 B200 GPU 로도 학습해 비교했습니다. 두 모델 모두 학습에 한 번도 쓰지 않은 텍스트 1,024개 구간에서 평가했고, 손실은 NPU 0.7993, GPU 0.7994 였습니다. 두 모델의 가중치와 평가 스크립트는 모두 공개했습니다. 왜 "추론 전용…
Read the full story at DEV Community — Machine Learning ↗
Timeline · 1 report
- 2026-10-26 05:53 · DEV Community — Machine Learning
추론 전용 NPU로 LLM 사전학습이 가능할까? 3억 2,500만 파라미터를 0부터 학습해 B200과 같은 품질을 냈다