같은 모델인데 AUROC 0.835가 0.565로: 신약 AI 벤치마크에 시간 분할이 필요한 이유
TL;DR 공개 ChEMBL 데이터로 hERG 차단 예측을 직접 재현했습니다. 같은 분자, 같은 코드, 같은 LightGBM인데 무작위 분할은 AUROC 0.835, 연도 기준 시간 분할은 0.565 였습니다. 점수 차이는 모델이 아니라 시험 문제에서 나왔습니다. 이유는 시험 분자가 학습 분자와 얼마나 닮았느냐입니다. 학습 집합에서 가장 가까운 분자와의 Tanimoto 유사도 중앙값이 무작위 분할 0.794, 시간 분할 0.365였습니다. 제출 횟수도 점수를 올립니다. 실력이 0인 제출자가 무작위 예측을 1,000번 내고 최고점을…
Read the full story at DEV Community — Machine Learning ↗
Timeline · 1 report
- 2026-10-21 00:54 · DEV Community — Machine Learning
같은 모델인데 AUROC 0.835가 0.565로: 신약 AI 벤치마크에 시간 분할이 필요한 이유