벤치마크의 유통기한 — 포화와 '더 큰 시험지' 경쟁 (LLM 벤치마크 해석 3편)

Show Notes

60개 LLM 벤치마크 중 29개가 상위 모델을 가려내지 못하는 포화 상태였다는 연구로 포화의 정의와 원인을 짚습니다. Humanity's Last Exam 같은 새 시험지가 이를 어떻게 피하려 하는지, METR Time Horizon 1.1에서 과제 구성과 측정 환경이 추세 숫자를 어떻게 바꿨는지 살펴봅니다. 3부작의 마지막 회차입니다.

전체 대본 보기

참고 자료

• METR, Time Horizon 1.1 (blog, 2026-01-29)
• Akhtar, Reuel et al., When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation (arXiv:2602.16763v4, ICML 2026)
• Kwa et al. (METR), Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499)
• Stanford HAI, The 2025 AI Index Report, Chapter 2: Technical Performance
• Phan et al. (CAIS, Scale AI), Humanity's Last Exam (arXiv:2501.14249v12)

이 에피소드의 음성은 TTS로 합성되었습니다.

What is kalee's 공부방?

kalee 가 공부하고자 하는 내용들을 두서없이 업로드하는 팟캐스트

진행자: 벤치마크 해석 3부작, 마지막 회차입니다. 오늘 주제는 벤치마크의 유통기한이에요.

전문가: 네, 반갑습니다. 오늘은 시험지가 왜 낡는지, 그리고 새 시험지는 그걸 어떻게 피하려고 하는지 얘기해 보려고 해요.

진행자: 시리즈를 처음 듣는 분도 있을 테니 앞의 두 편을 짧게 묶고 갈게요. 1편에서는 벤치마크 종류마다 무엇을 재고 무엇을 못 재는지, 일종의 지도를 그렸고요.

전문가: 2편에서는 공개된 문제가 학습 데이터에 섞이면 점수가 실력이 아니라 기억을 재게 된다는, 데이터 오염 얘기를 했죠.

진행자: 오늘은 오염이 없어도 생기는 문제예요. 모델들이 다 비슷한 점수를 받아서, 시험이 더는 누가 나은지 가려 주지 못하는 상황이요.

전문가: 그걸 포화, 영어로 saturation이라고 부릅니다. 모델 선택할 때 벤치마크 표를 보는 분이라면 꼭 알아야 할 개념이에요.

진행자: 왜 지금 이 얘기인가요?

전문가: 올해 이 주제를 정면으로 다룬 자료가 두 개 나왔어요. 하나는 2월에 arXiv에 올라오고 머신러닝 학회 ICML 2026에 실린 포화 연구, 다른 하나는 1월 29일에 METR가 발표한 Time Horizon 1.1, 줄여서 TH1.1이에요.

진행자: METR는 이 채널에서 개발자 생산성 실험으로 한 번 다룬 기관이죠?

전문가: 맞아요. METR는 최첨단 AI 에이전트를 연구하는 비영리 기관이고, 미터라고 읽어요. 같은 기관 얘기만 들으면 치우칠 수 있어서, 오늘은 스탠퍼드 AI Index 같은 바깥 자료도 같이 보겠습니다.

진행자: 오늘 MMLU, GPQA, SWE-bench처럼 영어 약자로 된 벤치마크 이름이 많이 나올 텐데, 다 외워야 하나요?

전문가: 아니요. 대부분 시험 이름이라 약자 뜻보다는 그 시험이 아직 모델을 가려 주느냐가 중요해요. 오늘은 그 관점으로만 들으시면 돼요.

진행자: 먼저 포화라는 말부터 정리하죠. 점수가 100점에 가까워지면 포화인가요?

전문가: 직관은 그렇지만, 포화 연구는 다르게 정의해요. 핵심은 변별력이에요. 상위 모델들끼리 신뢰할 만하게 구별할 수 없게 되면 포화라고 봅니다.

전문가: 조건이 두 개예요. 첫째, 상위 모델들 점수가 통계적으로 구별되지 않는다. 둘째, 그 점수가 이 벤치마크에서 관측된 최고 수준, 그러니까 사실상의 천장에 붙어 있다.

진행자: 첫째만 맞으면요?

전문가: 그건 정체, stagnation이라고 따로 불러요. 모델이 다 같이 막혀 있는 거죠. 나중에 추론형 모델처럼 새 방식이 나오면 다시 차이가 벌어질 수도 있다고 봐요.

진행자: 사람 점수랑 비교하는 방식은 아니네요.

전문가: 네, 일부러 뺐어요. 사람 기준 점수는 구하기 어렵고 들쭉날쭉한 데다, 사람 수준을 넘어도 모델끼리는 여전히 갈릴 수 있으니까요.

전문가: 그리고 저자들이 짚는 게 하나 있는데, 포화가 꼭 나쁜 건 아니에요. 시험이 제대로 된 거라면 포화는 그 과제를 풀었다는 뜻이니까요. 문제는 숙달이 아니라 그냥 변별력만 잃은 경우예요.

진행자: 그럼 '구별이 안 된다'는 걸 숫자로는 어떻게 재요?

전문가: 포화 지수라는 걸 만들었어요. 논문 표기로는 S index예요. 리더보드에서 상위 다섯 개 모델 점수를 가져와서, 1등과 5등의 점수 차를 봅니다.

전문가: 그 차이를 평가 잡음, 정확히는 그 점수 차의 표준오차로 나눠요. 일종의 신호 대 잡음비죠. 이 비율이 작을수록, 즉 점수 차가 잡음 안에 묻힐수록 지수가 1에 가까워져요.

진행자: 표준오차는 문항 수에 따라 달라지잖아요.

전문가: 그래서 문항 수를 그대로 쓰지 않고 제곱근으로 줄여서 넣었어요. 몇십 문항짜리부터 수십만 문항짜리까지 섞여 있어서, 큰 벤치마크가 잡음을 너무 작게 잡지 않도록 한 거예요.

전문가: 지수가 0.7 이상이면 포화가 높음, 0.9 이상이면 매우 높음으로 구간을 나눴어요.

진행자: 그 설정을 바꾸면 결과도 바뀌지 않나요?

전문가: 좋은 질문이에요. 상위 모델 수를 셋으로 바꾸거나 문항 수 보정 강도를 바꿔 보면, 벤치마크 순서는 거의 그대로예요. 대신 어느 구간에 들어가느냐는 꽤 흔들려요. 그러니 개별 벤치마크의 등급보다 전체 경향을 보는 게 맞습니다.

진행자: 그래서 결과가 어땠어요?

전문가: 주요 개발사 모델 카드와 기술 보고서 61건에서 벤치마크를 모으고, 많이 인용된 벤치마크도 더한 다음 걸러서, 텍스트 기반 LLM 벤치마크 60개를 분석했어요.

전문가: 그중 29개가 포화 높음 이상이었고, 그 가운데 14개는 매우 높음이었어요. 거의 절반이죠.

진행자: 절반이요. 그럼 우리가 보는 모델 비교표의 상당수가 사실상 동점이라는 얘기네요.

전문가: 그 60개 기준으로는 그렇게 읽을 수 있어요. 포화된 벤치마크에서는 상위 모델 점수 차가 평가 잡음 안에 들어가 있다는 뜻이니까요.

진행자: 오래된 벤치마크일수록 더 포화됐나요?

전문가: 방향은 그래요. 나온 지 2년 안 된 벤치마크는 42.9%가 포화였고, 5년 넘은 건 54.5%였어요. 그런데 저자들이 이 차이 자체는 통상적인 기준에서 통계적으로 유의하지 않다고 직접 밝혀요.

전문가: 대신 여러 요인을 한꺼번에 넣은 회귀 분석에서는, 나이와 문항 수가 가장 일관된 예측 변수로 나왔어요. 이 모델의 설명력, R 제곱은 0.884였고요.

진행자: 문항 수는 어느 쪽이에요?

전문가: 문항이 많을수록 덜 포화돼요. 해상도 문제라서 그래요. 문항이 적으면 잡음이 커서, 실제로 차이가 있어도 그게 안 보이는 거죠.

진행자: 2편에서 오염 막으려면 시험지를 비공개로 두라는 얘기도 나왔잖아요. 그러면 포화도 늦춰지지 않나요?

전문가: 그게 이 연구에서 제일 흥미로운 부분이에요. 공개 벤치마크와 비공개 벤치마크의 포화 정도에 통계적으로 의미 있는 차이가 없었어요. 저자들 표현으로는, 시험 데이터를 숨겨도 널리 쓰이기 시작하면 포화를 막지 못한다는 거예요.

진행자: 비공개가 몇 개였는데요?

전문가: 60개 중 4개예요. 표본이 작다는 건 감안해야 해요.

전문가: 다른 상식도 깨졌어요. 객관식을 서술형 생성 문제로 바꾸면 오래갈 것 같지만, 형식 사이에 의미 있는 차이가 없었어요. 템플릿으로 찍어 낸 문제인지도 유의한 차이가 없었고요.

진행자: 다국어 벤치마크는요? 영어 데이터가 많으니 영어 시험이 먼저 포화될 것 같은데.

전문가: 단순 비교로는 다국어 쪽이 덜 포화돼 보여요. 그런데 다국어 벤치마크가 평균 33개월, 영어 전용이 49개월쯤으로 훨씬 젊었어요. 결국 나이 차이로 설명된다는 게 결론이에요.

진행자: 그럼 뭐가 버텨요?

전문가: 초록에는 공개 여부가 아니라 전문가 큐레이션이 포화 저항성에 영향을 준다고 써 있어요. 전문가가 만든 벤치마크는 비슷한 나이에서 덜 포화됐고, ARC-AGI나 BIG-Bench Hard 같은 건 오래 노출되고도 포화되지 않았어요.

전문가: 다만 본문에는 단서가 붙어요. 큐레이션 방식별로 벤치마크 나이가 유의하게 달라서, 나이가 여전히 교란 요인으로 남는다고요. 그래서 저는 '전문가 큐레이션이 도움이 될 가능성이 보인다' 정도로 받아들이는 게 맞다고 봐요.

진행자: 결국 포화는 왜 생기는 거예요?

전문가: 저자들 해석은 두 가지가 겹친다는 거예요. 하나는 노출이에요. 같은 시험을 오래 두고 다들 거기에 맞춰 최적화하면 상위권 차이가 좁아져요. 다른 하나는 측정 해상도예요. 문항이 적으면 남은 차이를 잡음이 덮어 버려요.

전문가: 그래서 오염이 없어도 포화는 온다는 거죠. 물론 저자들도 인과 관계를 직접 증명한 건 아니라고 선을 그어요.

진행자: 그러면 업계는 어떻게 대응하고 있어요? 제목에 '더 큰 시험지'라고 했잖아요.

전문가: 스탠퍼드 HAI의 AI Index 2025가 그 흐름을 잘 정리했어요. MMLU, GSM8K, HumanEval 같은 전통 벤치마크가 포화되면서 연구자들이 새 평가 방법을 찾게 됐다고요.

전문가: 2023년에 MMMU, GPQA, SWE-bench 같은 어려운 벤치마크가 나왔는데, 이듬해인 2024년까지 MMMU는 18.8%포인트, GPQA는 48.9%포인트가 올랐어요. SWE-bench는 4.4%에서 71.7%로 뛰었고요.

진행자: 새 시험지도 금방 따라잡힌다는 거네요.

전문가: 점수가 그만큼 빨리 오른다는 거죠. 다만 SWE-bench 상승을 전부 실력으로 읽으면 안 돼요. 포화 논문도 SWE-bench Verified에서 맞는 풀이를 테스트가 틀렸다고 판정하는 문제가 있었다는 보고를 인용해요. 2편의 오염 얘기와 같이 봐야 하는 이유죠.

전문가: 상위권이 붙어 버리는 현상도 AI Index에 나와요. Chatbot Arena에서 1위와 10위의 Elo라는 상대 평가 점수의 차이가 11.9%에서 2025년 초 5.4%로 줄었고, 1위와 2위 차는 2023년 4.9%에서 2024년 0.7%로 줄었어요.

진행자: 1편에서 다룬 선호 투표형 리더보드에서도 상위권이 붙고 있다는 거네요.

진행자: 그다음 세대 시험지는 뭐예요?

전문가: AI Index는 Humanity's Last Exam, 줄여서 HLE를 대표로 들어요. AI Index 집계 기준으로 최고 시스템 점수가 8.80%였고, 수학 벤치마크 FrontierMath는 2%였어요.

진행자: HLE는 어떻게 만들었길래 그렇게 어려워요?

전문가: 만든 사람들도 동기를 분명히 써요. 최신 모델이 MMLU 같은 인기 벤치마크에서 90% 넘게 맞히니까, 최전선 능력을 정밀하게 잴 수가 없다는 거예요.

전문가: 그래서 수십 개 분야에서 2,500문항을 모았어요. 1,000명 가까운 분야 전문가가 문제를 냈고, 공개 문항과 별도로 과적합을 확인할 비공개 셋도 따로 뒀어요.

전문가: 핵심 장치는 적대적 거르기예요. 문제를 내기 전에 최신 모델들한테 먼저 풀려 보고, 모델이 맞히면 탈락시켜요. 7만 번 넘게 시도해서 모델을 막은 약 1만 3천 문항이 전문가 검토로 넘어갔고, 대학원 학위 가진 검토자들이 두 단계로 걸렀어요.

진행자: 처음부터 지금 모델이 못 푸는 문제만 골랐다는 거네요. 그러면 오래가겠죠?

전문가: 저자들 본인도 장담하지 않아요. 최근 역사를 보면 벤치마크는 빨리 포화된다고 쓰고, 2025년 말까지 50%를 넘을 수도 있다고 봤어요. 그래서 계속 문항을 갱신하는 HLE-Rolling 버전을 두겠다고 했고요.

전문가: 그리고 HLE 점수가 높아도 자율 연구 능력이나 AGI, 그러니까 범용 인공지능을 뜻하진 않는다고 스스로 선을 그었어요. 닫힌 형식의 학술 문제를 잘 푼다는 뜻일 뿐이라고요.

진행자: 포화 논문의 권고랑 비교하면 어때요?

전문가: 많이 겹쳐요. 포화 논문은 해상도를 높여라, 즉 모델 간 점수 차가 평가 불확실성보다 커야 하니 문항을 늘리거나 더 어렵게 하라고 해요. 그리고 주기적 교체나 적대적 수집 같은 동적 갱신을 권해요.

전문가: 또 리더보드에 신뢰구간과 상위권 점수 폭을 같이 보고하고, 상위 모델이 구별되지 않게 되면 개정하거나 퇴역시키는 절차를 처음부터 설계에 넣으라고 해요.

전문가: HLE의 적대적 거르기와 HLE-Rolling이 바로 그 방향이에요. 다만 HLE도 비공개 셋을 두는데, 포화 논문 결과로는 비공개만으로는 부족하다는 거죠.

진행자: 이제 METR 쪽으로 가 보죠. time horizon은 1편에서도 잠깐 나왔는데, 다시 정의해 주세요.

전문가: 50% time horizon은, 사람 전문가가 보통 그만큼 걸리는 과제를 AI가 50% 확률로 해내는 과제 길이예요. 사람 시간으로 잰 과제 길이죠.

전문가: 2025년 원 논문에서는 2019년 이후 최전선 모델의 time horizon이 대략 7개월마다 두 배가 됐다고 했어요.

진행자: 그런데 1.1에서 뭐가 바뀌었어요?

전문가: 두 가지예요. 과제 묶음과 평가 인프라. 과제는 170개에서 228개로 늘었어요. 73개를 추가하고 15개를 빼고 53개를 고쳤죠.

전문가: 고치거나 뺀 과제는 설명이 헷갈리거나, 편법으로 점수만 따는 reward hacking이 쉽거나, 채점 함수에 오류가 있던 경우였어요.

진행자: 시험지 자체에 버그가 있었던 거네요.

전문가: 네. 그리고 사람이 8시간 이상 걸리는 장기 과제를 14개에서 31개로 늘렸어요. METR는 앞으로도 장기 과제를 더 넣어서 추정을 좁히고 포화를 피하겠다고 해요.

전문가: TH1.1에도 최신 모델이 못 푸는 과제가 비교적 적다고 METR가 직접 말해요. 자기 측정 도구도 천장에 닿아 가고 있다는 거죠.

진행자: 오늘 주제랑 바로 이어지네요. METR도 포화를 피하려고 시험지를 키운 거군요.

전문가: 맞아요. 그런데 여기에 주의할 숫자가 있어요. 장기 과제 31개 중에 사람이 실제로 풀어 보고 시간을 잰 건 5개뿐이에요. 나머지 26개는 추정 시간이에요.

진행자: 기준 자체가 추정이라는 거네요.

전문가: 그렇죠. time horizon은 사람 시간을 자로 쓰는데, 긴 쪽 눈금 대부분이 추정치라는 얘기예요.

진행자: 신뢰구간은 좀 좁아졌나요?

전문가: 좁아졌어요. Claude Opus 4.5를 예로 들면 신뢰구간 상한이 점 추정의 4.4배였는데 2.3배로 줄었어요. 그래도 METR 스스로 여전히 매우 넓다고 해요. 점 추정은 320분인데 구간은 170분에서 729분이에요.

진행자: 인프라는 뭐가 바뀌었어요?

전문가: 2023년에 자체 개발한 Vivaria에서, 영국 AI Security Institute가 만든 오픈소스 평가 프레임워크 Inspect로 옮겼어요.

전문가: 옛 과제로 같은 모델을 두 환경에서 돌려 봤더니 GPT-4o는 Vivaria에서 9.2분, Inspect에서 6.0분이 나왔고, o3는 94분 대 78분이었어요. 이 두 모델은 Vivaria에서 통계적으로 유의하게 높았어요.

진행자: 같은 모델, 같은 과제인데 환경만 바꿔서 점수가 달라진 거예요?

전문가: 네. METR는 이 모델들이 scaffold, 그러니까 프롬프트를 포함해 모델을 에이전트로 돌리는 틀에 민감하다는 근거로 봐요. 반대로 Claude Sonnet 4.5는 Inspect에서 더 높게 나왔고요.

전문가: 공정하게 덧붙이면, 과제별로 보면 유의한 차이가 난 건 3개뿐이었고, 새 과제 묶음에서는 두 환경 차이가 아주 작았어요. METR는 전체 추정치 변화의 주원인을 과제 구성 변화와 실행마다의 잡음으로 보고, 인프라 몫은 비교적 작다고 해요.

진행자: 추세는 어떻게 바뀌었어요? 결국 사람들이 제일 궁금한 건 '몇 개월마다 두 배'잖아요.

전문가: 2019년부터 옛 모델은 기존 추정치를 이어 붙여서 보면 두 버전 모두 약 196일, 7개월 정도로 같아요. 그런데 2023년 이후만 보면 165일에서 131일로 짧아졌어요. 진전이 20% 빠르게 추정된 거죠.

진행자: 그럼 AI가 더 빨리 발전하고 있다는 뜻인가요?

전문가: 그렇게 읽으면 안 돼요. 이유를 보면, 옛 모델 점수는 내려가고 새 모델 점수는 올라갔어요. GPT-4 두 버전은 35%, 57% 떨어졌고, GPT-5는 55% 올랐어요. 모델 실력이 그새 바뀐 게 아니라, 주로 자가 바뀐 거예요.

전문가: METR도 새 과제가 조금 다른 난이도 분포에서 왔고, 그래서 조금 다른 추세를 반영한다고 인정해요. 엄격한 선정 기준 없이 과제 풀을 갱신한 자연스러운 결과라고요.

진행자: 두 추세가 신뢰구간 안에서 겹친다면 괜찮은 거 아니에요?

전문가: METR가 그 부분에도 단서를 달아요. 그 신뢰구간은 완전히 새 과제 묶음을 뽑는 상황을 가정한 건데, 실제로는 두 버전 과제가 상당히 겹친다고요. 그러니 겹친다는 사실만으로 안심하긴 어려워요.

전문가: 그리고 다시 추정한 건 기존 33개 모델 중 14개뿐이에요. 비교 대상 자체가 달라진 거죠.

진행자: 정리해 보면, 실무에서 이런 추세 그래프나 벤치마크 표를 볼 때 뭘 확인해야 할까요?

전문가: 세 가지만 말씀드릴게요. 첫째, 점 추정 옆에 신뢰구간이나 상위권 점수 폭이 있는지 보세요. 없으면 1, 2점 차이는 잡음일 수 있다고 가정하는 게 안전해요.

전문가: 둘째, 같은 이름의 지표라도 과제 묶음과 측정 환경이 바뀌었는지 보세요. TH1.1처럼 자가 바뀌면 같은 모델 점수도 바뀌어요.

전문가: 셋째, 그 벤치마크가 몇 년 됐는지, 상위 모델이 이미 붙어 있는지 보세요. 포화된 시험이면 거기서 1등은 모델 선택에 별 정보를 안 줘요. 차라리 우리 팀의 실제 과제로 작게 재 보는 게 나아요.

진행자: 마지막 건 연구에서 나온 결론이라기보다 조언이죠?

전문가: 네, 제 의견이에요. 연구가 말하는 건 포화된 벤치마크는 상위 모델을 가려 주지 못한다는 데까지예요.

진행자: 오늘 내용을 묶어 보겠습니다. 첫째, 포화는 점수가 100점이 되는 게 아니라 상위 모델 차이가 측정 잡음 안으로 들어가는 거예요. 60개 중 29개가 그 상태였고요.

진행자: 둘째, 시험지를 비공개로 두거나 형식을 바꾸는 것만으로는 포화를 막지 못했어요. 문항 수와 어려움, 전문가 큐레이션, 그리고 계속 갱신하는 설계가 더 중요해 보여요.

진행자: 셋째, 측정 도구도 낡아요. METR도 시험지를 키우면서 추세 숫자가 바뀌었으니, 추세는 신뢰구간과 측정 조건을 같이 놓고 읽어야 해요.

전문가: 3부작 전체로 보면, 무엇을 쟀는지, 시험지가 새지 않았는지, 아직 변별력이 있는지. 이 세 질문을 숫자 앞에 놓으시면 될 것 같아요.

진행자: 오늘 언급한 포화 논문, METR 글, AI Index, HLE 논문 링크는 설명란에 있습니다. 벤치마크 해석 3부작, 들어 주셔서 감사합니다.

전문가: 감사합니다.