{"type":"rich","version":"1.0","provider_name":"Transistor","provider_url":"https://transistor.fm","author_name":"kalee's 공부방","title":"[LLM 벤치마크 2편] 시험지를 미리 본 모델: 데이터 오염과 과적합","html":"<iframe width=\"100%\" height=\"180\" frameborder=\"no\" scrolling=\"no\" seamless src=\"https://share.transistor.fm/e/06e99953\"></iframe>","width":"100%","height":180,"duration":945,"description":"공개된 벤치마크 문제가 학습 데이터에 섞이면 점수는 무엇을 재게 될까요? GSM8k와 새로 만든 GSM1k를 비교해 과적합을 잰 연구, SWE-bench Verified의 오래된 공개 이슈, 마감일 이후 문제와 주기적 교체·비공개 셋 같은 대응책을 원 논문으로 살펴봅니다. 비공개만으로는 포화를 막지 못한다는 반대 증거도 함께 짚습니다.","thumbnail_url":"https://img.transistorcdn.com/4ao1VI2NyW-WVnqlCoJU9Bji1g5D-9Zd9jZMTzouBjg/rs:fill:0:0:1/w:400/h:400/q:60/mb:500000/aHR0cHM6Ly9pbWct/dXBsb2FkLXByb2R1/Y3Rpb24udHJhbnNp/c3Rvci5mbS9iZGY2/NzdkMmNmYTNlOTQ3/ZjYyZjFjNjFjYzQ5/MWI5Mi5wbmc.webp","thumbnail_width":300,"thumbnail_height":300}