온폴리시 증류(OPD)의 리워드 해킹 극복: 신뢰성 적응형 보상 외삽 기법 REOPD 분석
📌 핵심 요약 (Key Takeaways) 핵심 성과: 토큰 수준의 호환성 가중치($q_t$)와 배치 수준 적응형 예산($\gamma_b$)을 결합한 $\lambda_{b,t}=1+\gamma_b q_t$ 정밀 제어로 리워드 해킹을 방지함. 독창적 차별점: 검증기(Verifier), 보상/가치 모델(RM/VM) 및 추가 롤아웃 생성 없이 표준 OPD 연산량만으로 고차원 적응형 보상 외삽 달성. 실무 파급력: 수학 및 멀티 교사(Multi-teacher) 증류에서 SOTA 성능 달성, 도메인별 하이퍼파라미터 탐색(Sweep) 공수 … 더 읽기