{"type":"rich","version":"1.0","provider_name":"Transistor","provider_url":"https://transistor.fm","author_name":"kalee's 공부방","title":"벤치마크의 유통기한 — 포화와 '더 큰 시험지' 경쟁 (LLM 벤치마크 해석 3편)","html":"<iframe width=\"100%\" height=\"180\" frameborder=\"no\" scrolling=\"no\" seamless src=\"https://share.transistor.fm/e/ee19d6df\"></iframe>","width":"100%","height":180,"duration":1088,"description":"60개 LLM 벤치마크 중 29개가 상위 모델을 가려내지 못하는 포화 상태였다는 연구로 포화의 정의와 원인을 짚습니다. Humanity's Last Exam 같은 새 시험지가 이를 어떻게 피하려 하는지, METR Time Horizon 1.1에서 과제 구성과 측정 환경이 추세 숫자를 어떻게 바꿨는지 살펴봅니다. 3부작의 마지막 회차입니다.","thumbnail_url":"https://img.transistorcdn.com/4ao1VI2NyW-WVnqlCoJU9Bji1g5D-9Zd9jZMTzouBjg/rs:fill:0:0:1/w:400/h:400/q:60/mb:500000/aHR0cHM6Ly9pbWct/dXBsb2FkLXByb2R1/Y3Rpb24udHJhbnNp/c3Rvci5mbS9iZGY2/NzdkMmNmYTNlOTQ3/ZjYyZjFjNjFjYzQ5/MWI5Mi5wbmc.webp","thumbnail_width":300,"thumbnail_height":300}