Subscribe
Share
Share
Embed
객관식 정답률, 코드 테스트 통과율 pass@k, 사람·LLM 선호 투표, 에이전트 time horizon까지 LLM 벤치마크 유형별로 무엇을 재고 무엇을 못 재는지 정리합니다. HELM의 7개 지표와 '표준화 전 평가 범위 17.9%', 번역 벤치마크와 한국어 원문 시험 KMMLU의 차이도 함께 다룹니다. 개별 모델 순위 대신 점수 옆에 붙은 조건을 읽는 법에 집중합니다.
객관식 정답률, 코드 테스트 통과율 pass@k, 사람·LLM 선호 투표, 에이전트 time horizon까지 LLM 벤치마크 유형별로 무엇을 재고 무엇을 못 재는지 정리합니다. HELM의 7개 지표와 '표준화 전 평가 범위 17.9%', 번역 벤치마크와 한국어 원문 시험 KMMLU의 차이도 함께 다룹니다. 개별 모델 순위 대신 점수 옆에 붙은 조건을 읽는 법에 집중합니다.
참고 자료
이 에피소드의 음성은 TTS로 합성되었습니다.
kalee 가 공부하고자 하는 내용들을 두서없이 업로드하는 팟캐스트
진행자: 안녕하세요. 오늘부터 세 번에 걸쳐 LLM 벤치마크 이야기를 해 보려고 합니다. 첫 회 주제는 벤치마크 지도, 질문은 하나예요. 이 점수는 대체 무엇을 쟀나?
진행자: 새 모델이 나올 때마다 표가 하나씩 따라오잖아요. 무슨 벤치마크 몇 점, 무슨 아레나 몇 위. 모델을 고르거나 도입을 검토하는 입장에서는 그 숫자를 결국 보게 되는데, 솔직히 숫자마다 뭘 잰 건지 헷갈립니다.
전문가: 네, 그게 오늘 출발점이에요. 벤치마크 점수는 시험 점수와 비슷해요. 수학 시험 90점이 국어 실력을 말해 주지 않듯이, 벤치마크마다 재는 능력이 다르고, 재지 못하는 것도 다릅니다.
전문가: 그래서 오늘은 특정 모델이 몇 등이냐는 얘기는 하지 않을 거예요. 최신 점수표도 안 다룹니다. 대신 점수를 볼 때 이건 어떤 종류의 시험이고, 그 시험이 놓치는 건 뭔지 물어볼 수 있게 지도를 그려 보려고 해요.
진행자: 좋습니다. 숫자를 결론처럼 받아들이지 않는 연습이라고 생각하면 되겠네요.
진행자: 지도를 그리려면 먼저 축이 있어야 할 것 같은데요. 벤치마크를 어떻게 나누면 좋을까요?
전문가: Chatbot Arena 논문에 깔끔한 분류가 있어요. 두 가지를 물어봅니다. 첫째, 문제가 고정된 시험지냐, 계속 새로 들어오는 문제냐. 둘째, 채점을 정해진 정답으로 하느냐, 사람의 선호로 하느냐.
전문가: 가장 흔한 건 고정된 시험지에 정답으로 채점하는 방식이에요. 같은 논문은 그 이유로 싸고 재현하기 쉽다는 점을 들어요.
진행자: 오늘은 그 축 위에 네 가지 유형을 올려 보는 거죠?
전문가: 네. 객관식 정답률, 코드 테스트 통과율, 사람이나 LLM이 매기는 선호 점수, 그리고 에이전트가 긴 과제를 해내는 성공률. 이 네 가지예요. 마지막에 이 유형들을 한 번에 여러 지표로 보자는 HELM과, 한국어 시험 이야기를 붙이겠습니다.
진행자: 이름이 벌써 많이 나오네요. 약어부터 한 번 정리하고 가죠. MMLU는 뭐의 약자예요?
전문가: Massive Multitask Language Understanding, 대규모 다중 과제 언어 이해예요. 57개 과목 객관식 시험입니다. 그걸 한국 시험 원문으로 만든 게 KMMLU, 코리안 MMLU고요.
진행자: pass@k는요? 글자로 보면 패스 골뱅이 케이인데.
전문가: 패스 앳 케이라고 읽어요. 코드를 k개 만들었을 때 그중 하나라도 테스트를 통과할 확률이에요. Codex 논문이 HumanEval 채점에 쓴 지표예요.
진행자: SWE-bench도 자주 보이던데요.
전문가: Software Engineering bench, 실제 GitHub 이슈를 고치게 하는 벤치마크예요. 그중 사람이 한 번 더 검증한 500문제짜리가 SWE-bench Verified고요.
진행자: MT-Bench와 LLM-as-a-judge는요?
전문가: MT-Bench는 Multi-Turn Benchmark, 여러 차례 주고받는 대화형 질문 80개예요. LLM-as-a-judge는 말 그대로 LLM을 심판으로 세워서 다른 모델의 답을 채점하게 하는 방식이고요.
진행자: HELM이랑 METR도 풀어 주세요.
전문가: HELM은 Holistic Evaluation of Language Models, 언어 모델의 총체적 평가예요. 스탠퍼드 연구진이 만들었어요. METR은 Model Evaluation and Threat Research의 약자로, AI 에이전트를 평가하는 비영리 단체예요. 미터라고 읽는다고 스스로 밝히고 있어요.
진행자: 마지막으로 scaffold라는 말도 자주 나오는데요.
전문가: 모델을 감싸는 틀이에요. 파일을 열고 명령을 실행하는 도구, 프롬프트, 실행 환경을 붙여서 모델을 에이전트로 돌리는 장치요. 같은 모델이라도 어떤 scaffold에 넣느냐에 따라 점수가 달라져서, 오늘 몇 번 나올 거예요.
진행자: 그럼 첫 번째 유형, 객관식부터 가 보죠. MMLU 같은 시험은 뭘 재는 건가요?
전문가: 넓은 지식이에요. 초등 수학부터 미국사, 컴퓨터 과학, 법까지 57개 과목에서 보기 네 개 중 정답을 고릅니다. 정답이 정해져 있어서 채점이 자동이고 싸요.
전문가: 그런데 보기가 넷이니 찍어도 25%는 나와요. 그래서 점수를 볼 때는 바닥이 0이 아니라 25라는 걸 먼저 떠올려야 합니다. MMLU 논문이 나올 당시엔 꽤 큰 모델들도 이 무작위 수준에 머물렀어요.
진행자: 바닥이 25점인 시험이군요. 그럼 못 재는 건요?
전문가: 첫째는 형식에 대한 민감도예요. HELM이 재미있는 걸 보고했는데, 같은 모델에 같은 문제를 냈는데도 보기를 하나씩 따로, 예시 없이 물어보면 정확도가 79.1%, 보기를 한꺼번에 시험지처럼 보여 주고 예시 다섯 개를 붙이면 30.2%였어요. 거의 찍은 수준으로 떨어진 거죠.
진행자: 같은 문제인데 묻는 방식만 바꿨는데요?
전문가: 네. 2022년 무렵 모델의 결과라 수치 자체는 낡았지만, 원리는 남아요. HELM은 어떤 방식이 정확도를 최대로 만드는지가 모델마다 달라서, 모든 모델을 공정하게 같은 조건으로 재는 것 자체가 근본적인 어려움이라고 썼어요.
전문가: 프롬프트 형식, 예시를 몇 개, 어떤 걸 넣느냐에도 모든 모델이 크게 흔들렸다고 해요.
진행자: 그러니까 객관식 점수 옆에는 어떤 방식으로 물었는지가 붙어 있어야 의미가 있겠네요.
전문가: 맞아요. 둘째는 자기가 틀렸는지 아느냐예요. MMLU 논문 저자들도 모델이 자기가 틀렸을 때를 자주 모른다고 지적했어요. 정답률 하나로는 이게 안 보입니다. 이건 뒤에 HELM에서 보정이라는 이름으로 다시 나와요.
진행자: 객관식 얘기가 나온 김에, 한국어 점수도 궁금해요. 영어 MMLU를 한국어로 번역하면 되는 거 아닌가요?
전문가: 실제로 그렇게 많이 했어요. 그런데 KMMLU 저자들은 번역 벤치마크에 두 가지 한계가 있다고 봤어요. 하나는 기계 번역이 부자연스러운 문장이나 오타, 문법 오류를 만든다는 것.
전문가: 다른 하나는 MMLU가 원래 영어 사용자를 위한 시험이라, 미국 법체계나 영어 속어, 미국 문화를 알아야 풀리는 문항이 섞여 있다는 거예요. 번역해도 그 전제는 그대로 남죠.
진행자: 한국어로 된 미국 시험이 되는 거네요.
전문가: 그렇죠. 그래서 KMMLU는 처음부터 한국 시험 원문에서 문제를 가져왔어요. 공직적격성평가, 국가 자격시험, 수능 같은 533개 출처에서 모았고, 테스트 문항이 3만 5천 30개, 과목이 45개예요. 번역한 문항은 하나도 없습니다.
전문가: 응시하려면 업계 경력이 9년 이상 필요한 자격시험 문제도 들어 있어요.
진행자: 번역본과 비교하면 실제로 얼마나 달라요?
전문가: 저자 두 명이 번역된 MMLU 570문항과 KMMLU 450문항을 무작위로 뽑아서 직접 읽어 봤어요. 문장이 자연스러운 비율이 번역 MMLU는 86.1%, KMMLU는 98.4%였어요.
전문가: 한국 고유의 지식이 필요한 문항은 번역 MMLU에서 0%, KMMLU에서 20.4%였고요. 한국의 문화, 사회 규범, 법 체계 같은 거요.
진행자: 20%면 생각보다 적은데요?
전문가: 좋은 지적이에요. 저자들도 그 점을 분명히 써 뒀어요. 나머지 대부분은 수학처럼 나라와 상관없는 일반 지식을 잰다고요. 그러니까 KMMLU 점수는 한국 문화 이해도 점수가 아니라, 한국어로 된 전문 시험 점수라고 읽는 게 맞아요.
전문가: 그리고 사람 기준이 있다는 게 장점이에요. 시험의 약 90%에 실제 응시자 정답률 자료가 있는데 평균이 62.6%고, 자격시험 대부분은 80%가 합격선이에요. 그래서 저자들은 80%를 전문가 최소 수준쯤으로 봐요.
진행자: 당시 모델들은 어땠어요?
전문가: 2024년 당시엔 GPT-4도 60%를 넘지 못했어요. 다만 지금 모델들과 비교할 숫자는 아니에요. 이 논문은 NAACL 2025에 정식 게재됐습니다.
진행자: 두 번째 유형, 코드로 가 보죠. 코드는 정답을 실행해 보면 되니까 객관식보다 깔끔할 것 같은데요.
전문가: 그게 큰 장점이에요. 2021년 Codex 논문이 HumanEval이라는 코딩 문제 164개를 손으로 새로 만들었는데, 문제마다 평균 7.7개의 단위 테스트가 붙어 있어요. 정답 코드와 글자가 얼마나 비슷한지가 아니라, 돌려서 테스트를 통과하느냐로 채점해요.
전문가: 글자 유사도로 채점하면 어떻게 되는지도 논문에 나와요. 틀린 프로그램이 맞는 프로그램보다 유사도 점수가 더 높은 경우가 많았대요.
진행자: 손으로 새로 만든 이유가 있나요?
전문가: 모델이 GitHub 코드를 대량으로 학습하니까, 이미 인터넷에 있는 문제를 쓰면 답을 외웠을 수 있어서요. 이 얘기는 다음 회차 데이터 오염에서 제대로 다룰 거예요.
진행자: pass@k로 돌아가 보면, k가 1이냐 100이냐에 따라 의미가 많이 다르겠네요.
전문가: 아주 달라요. 2021년 Codex 120억 파라미터 모델은 pass@1이 28.8%, pass@10이 46.8%, pass@100이 72.3%였어요. 같은 모델, 같은 문제인데 k만 바꿔도 숫자가 두 배 넘게 차이 나죠.
전문가: Codex 논문은 pass@k를 이렇게 해석할 수 있다고 썼어요. 단위 테스트를 미리 아는 심판이 k개 중에 맞는 걸 골라 준 결과라고요. 그런데 실제 자동완성처럼 사용자에게 하나만 보여 줘야 하는 상황에서는 그런 심판이 없죠.
진행자: 그러니까 pass@100은 백 번 던져서 한 번 맞히면 되는 점수군요.
전문가: 네. 그래서 사용자에게 하나만 보여 주는 상황이라면 봐야 할 건 pass@1이에요. 그리고 생성할 때 온도 설정도 k에 따라 최적값이 달라서, 한 크기의 모델에서는 pass@1엔 0.2, pass@100엔 0.8이 가장 좋았어요. 점수표에 이 조건이 안 적혀 있으면 비교가 어렵습니다.
진행자: 요즘은 함수 하나 짜는 문제보다 SWE-bench 점수를 더 많이 보는 것 같아요.
전문가: 네. SWE-bench Verified는 훨씬 현실적이에요. 인기 있는 Python 저장소 12개에서 실제로 머지된 버그 수정 500개를 가져왔어요. 모델은 수정 전 코드와 이슈 설명만 받고 패치를 써요.
전문가: 채점은 두 묶음의 테스트로 해요. 버그 때문에 실패하던 테스트가 통과해야 하고, 원래 통과하던 테스트는 계속 통과해야 해요.
전문가: Verified라는 이름이 붙은 건, 원래 SWE-bench의 1,600여 문제를 사람 세 명이 이슈가 명확한지, 테스트가 적절한지, 풀 수 있는지 평가해서 3분의 2 넘게 걸러 냈기 때문이에요. Epoch AI는 그래도 결함 있는 문제가 대략 5에서 10% 남아 있다고 추정했어요.
진행자: 그럼 SWE-bench Verified 점수가 높으면 우리 회사 코드도 잘 고친다고 봐도 될까요?
전문가: 거기서 조심해야 해요. Epoch AI 분석을 보면 약 90%가 숙련자가 한 시간 안에 끝낼 수 있는 수정이에요. 15분 미만이 39%, 15분에서 한 시간 사이가 52%. 4시간 넘게 걸린다고 본 문제는 세 개뿐이에요.
전문가: 그 시간 추정도 사람 주석자가 매긴 거라, METR은 너무 낙관적이라고 봤어요. 다만 METR이 직접 확인한 사례는 여섯 개뿐이라 강한 결론은 아니고요.
전문가: 저장소도 치우쳐 있어요. Django 하나가 거의 절반이고, 상위 다섯 개 저장소가 80% 넘게 차지해요. 모두 공개된 유명 프로젝트라, 사내 비공개 코드베이스와는 사정이 다르죠.
진행자: 테스트를 통과하면 끝인가요?
전문가: 그것도 한계예요. 테스트가 잡지 못하는 새 버그를 넣으면서 통과할 수도 있어서, Epoch AI는 점수가 과대평가될 수 있다고 썼어요.
전문가: 그리고 아까 말한 scaffold. 좋은 scaffold가 성능을 최대 20% 정도까지 올릴 수 있어서, Epoch AI는 이 점수가 모델 능력만큼이나 scaffold의 완성도를 반영한다고 정리했어요. 실사용에 가까운 지표로는 단일 시도 pass@1을 보라고 권하고요.
진행자: 결국 SWE-bench 점수는 모델 단독 점수가 아니라 모델과 scaffold 조합의 점수네요.
전문가: 정확해요. 그리고 Python 버그 수정이라는 좁은 영역에서의 조합 점수예요. 시스템 설계나 새 기능 개발, 애매한 요구사항을 해석하는 일은 이 벤치마크가 잘 담지 못한다고 Epoch AI도 썼어요.
진행자: 세 번째 유형으로 가 보죠. 정답이 없는 질문은 어떻게 재요? 글쓰기나 상담 같은 거요.
전문가: 그래서 나온 게 선호 기반 평가예요. 대표가 Chatbot Arena예요. 사용자가 질문을 하나 던지면 이름을 가린 모델 두 개가 동시에 답해요. 사용자는 더 나은 쪽에 투표하고, 투표한 다음에야 모델 이름이 공개됩니다.
전문가: 이 투표들을 Bradley-Terry라는 통계 모델로 모아서 순위 점수와 신뢰구간을 계산해요. 2024년 1월 기준으로 약 9만 명이 24만 표 넘게 던졌어요.
진행자: 실제 사람이 실제 질문으로 고르니까, 가장 현실에 가까운 점수 아닌가요?
전문가: 강점은 분명해요. 질문이 계속 새로 들어오니까 고정된 시험지가 시간이 지나며 오염되는 문제를 피할 수 있고, 정답이 없는 질문도 잴 수 있어요. 그런데 누가 투표하느냐를 봐야 해요. 언어는 100개가 넘지만 77%가 영어, 5%가 중국어였어요.
전문가: Arena 저자들 스스로도 한계를 적어 뒀어요. 사용자가 주로 LLM 애호가나 연구자라 분포가 치우칠 수 있고, 질문이 웹 채팅에서 오기 때문에 실제 서비스나 전문 분야 사용을 대표하지 못할 수 있다고요.
진행자: 그러니까 Arena 순위는 그 사이트에 오는 사람들이 그 사이트에서 묻는 질문에 대해 더 좋아한 답이라는 거네요.
전문가: 네, 그렇게 읽는 게 정확해요. 우리 회사 사용자가 우리 업무로 물었을 때의 선호와 같다는 보장은 없어요.
진행자: 사람 투표는 비싸고 느릴 텐데, 그래서 LLM 심판이 나온 건가요?
전문가: 맞아요. MT-Bench 논문이 그걸 체계적으로 봤어요. 방식이 세 가지예요. 두 답을 보여 주고 어느 쪽이 나은지 고르게 하거나, 답 하나에 점수를 매기게 하거나, 참고 답안을 같이 주고 채점하게 하는 거예요.
전문가: 장점은 확장성과 설명이에요. 사람 없이 빠르게 돌릴 수 있고, 점수와 함께 이유도 써 줘요.
진행자: 사람이랑 얼마나 일치해요?
전문가: 당시 GPT-4 심판과 사람 전문가의 일치율이 동점을 빼고 85%였어요. 사람끼리 일치율이 81%였으니 오히려 조금 높았죠. 그래서 논문 초록에는 80% 넘게, 사람끼리와 같은 수준으로 일치한다고 적혀 있어요.
진행자: 그럼 LLM 심판을 믿어도 되겠네요?
전문가: 여기서 같은 논문이 짚은 편향 네 가지를 꼭 같이 봐야 해요. 첫째, 위치 편향. 두 답의 순서만 바꿔도 판정이 바뀌어요. 순서를 바꿔도 같은 판정을 낸 비율이 GPT-4도 65% 정도였고, 다른 심판은 더 낮았어요.
전문가: 둘째, 장황함 편향. 같은 내용을 말만 바꿔 한 번 더 붙여서 길게 만든 답을 줬더니, GPT-3.5와 Claude-v1 심판은 91.3%의 경우 늘린 답이 더 낫다고 속았어요. GPT-4는 8.7%로 훨씬 잘 버텼지만 0은 아니었고요.
전문가: 셋째, 자기 선호 편향. 심판이 자기가 쓴 답을 더 좋아하는 경향이에요. 사람 평가와 비교하면 GPT-4는 자기 답에 약 10%, Claude-v1은 약 25% 높은 승률을 줬어요. 다만 저자들은 데이터가 적어서 편향이 있다고 단정하지는 못했다고 썼어요.
전문가: 넷째, 수학과 추론 채점. 심판이 혼자 풀면 맞히는 초등 수학 문제인데도, 제시된 틀린 답에 끌려서 잘못 채점한 사례가 있었어요.
진행자: 대응 방법도 있나요?
전문가: 논문이 제안한 간단한 방법이 있어요. 순서를 바꿔서 두 번 묻고, 두 번 다 이긴 경우만 승리로 치는 거예요. 수학은 심판이 먼저 혼자 푼 답을 참고 답안으로 같이 주니까 실패가 20건 중 14건에서 3건으로 줄었어요.
진행자: 사내에서 LLM 심판을 쓸 때 바로 적용할 수 있는 얘기네요. 순서 바꿔 두 번, 길이에 속는지 확인, 정답이 있으면 참고 답안 주기.
전문가: 네. 하나 덧붙이면, MT-Bench와 Chatbot Arena 논문은 Arena를 운영하는 같은 팀이 썼어요. 자기 플랫폼을 평가한 논문이라는 걸 감안해서 읽으면 좋아요. Arena 순위를 둘러싼 논쟁은 이 시리즈 밖의 주제라 오늘은 여기까지만 할게요.
진행자: 네 번째 유형, 에이전트요. 요즘 모델들은 답 하나가 아니라 여러 단계를 거쳐 일을 하잖아요. 이건 어떻게 재요?
전문가: METR의 time horizon이 독특한 방법이에요. 질문을 바꿨어요. 몇 점이냐가 아니라, 사람이 몇 시간 걸리는 일을 이 모델이 해낼 수 있느냐로요.
전문가: 먼저 대부분의 과제를 사람 전문가에게 직접 시켜서 걸린 시간을 재요. 그다음 모델이 각 과제에 성공하는 비율을 과제 길이에 맞춰 곡선으로 그리고, 성공률이 딱 50%가 되는 지점의 사람 시간을 찾아요. 그게 50% time horizon이에요.
진행자: 점수가 아니라 시간 단위로 나오니까 직관적이네요. 모델이 한 시간짜리 일은 반쯤 해낸다, 이런 식으로요.
전문가: 네, 그게 이 지표의 매력이에요. 2025년 원 논문에서는 최전선 모델의 time horizon이 2019년 이후 약 7개월마다 두 배가 됐다고 보고했어요.
진행자: 이건 뭘 못 재요?
전문가: 저자들이 먼저 짚은 게 외부 타당성이에요. 구조가 덜 정리된, 논문 표현으로 지저분한 과제에서는 성능이 훨씬 낮았어요. 과제 모음이 소프트웨어와 연구 업무 위주라는 점도 있고요.
전문가: 그리고 2026년 1월에 나온 Time Horizon 1.1이 이 지표가 얼마나 측정 조건에 민감한지 직접 보여 줬어요. 과제를 170개에서 228개로 늘렸고, 8시간 이상 걸리는 긴 과제를 14개에서 31개로 늘렸어요.
전문가: 그런데 그 31개 긴 과제 중에서 사람 시간을 실제로 잰 건 5개뿐이에요. 나머지는 추정 시간이에요. METR이 직접 밝힌 내용이에요.
진행자: 기준이 되는 사람 시간 자체가 추정이라는 거네요.
전문가: 네. 신뢰구간도 여전히 매우 넓다고 METR이 썼어요. 한 최신 모델의 경우 신뢰구간 상한이 점추정의 4.4배였다가, 과제를 늘린 뒤 2.3배로 좁혀졌어요. 좁혀졌다고 해도 두 배가 넘죠.
전문가: 과제 구성을 바꾸자 추세도 달라졌어요. 2023년 이후로 보면 두 배가 되는 데 걸리는 시간이 165일에서 131일로 바뀌었어요. METR은 추세가 과제 구성에 다소 민감하다고 썼어요.
전문가: 측정 도구도 영향이 있었어요. 자체 도구 Vivaria에서 영국 AI Security Institute가 만든 오픈소스 Inspect로 옮겼는데, 같은 과제에서도 두 모델은 Vivaria에서 통계적으로 유의하게 점수가 높았어요. METR은 이걸 scaffold와 프롬프트에 대한 민감도로 봤어요.
진행자: 또 scaffold네요. SWE-bench에서도 나왔는데.
전문가: 네, 에이전트 벤치마크에서는 자주 따라붙어요. 그래서 이 유형의 점수는 모델과 실행 환경, 과제 모음이 함께 만든 숫자로 읽어야 해요. 덧붙이면 time horizon 원 논문과 Time Horizon 1.1은 둘 다 METR 자료라 서로 독립된 근거는 아니에요.
진행자: 네 가지 유형을 다 봤는데, 공통점이 보여요. 다들 하나의 숫자로 요약되는데, 그 숫자가 놓치는 게 있다는 거요.
전문가: 그 문제의식으로 만든 게 HELM이에요. HELM은 정확도 하나로 줄 세우지 말고, 핵심 시나리오 16개마다 지표 일곱 개를 같이 재자고 했어요.
진행자: 일곱 개가 뭔가요?
전문가: 정확도, 보정, 강건성, 공정성, 편향, 유해성, 효율이에요. 하나씩 짧게 볼게요. 정확도는 우리가 아는 그 점수인데, HELM은 이게 평균이라서 소수 집단이 겪는 낮은 정확도가 가려질 수 있다고 짚었어요.
전문가: 보정은 모델의 확신이 실제 정답률과 맞느냐예요. 문장 1,000개를 각각 70% 확률로 유해하다고 판단했다면, 그중 약 700개가 실제로 유해해야 잘 보정된 거예요. 아까 MMLU에서 말한 자기가 틀렸는지 아느냐가 바로 이거예요.
진행자: 실무에서는 그게 꽤 중요하겠네요. 모르면 모른다고 해야 사람에게 넘길 수 있으니까.
전문가: HELM도 같은 이유를 들어요. 모델이 불확실할 때 사람이 대신 처리하게 하려면 확신 값이 믿을 만해야 한다고요.
전문가: 강건성은 오타나 동의어처럼 뜻을 바꾸지 않는 변형을 줬을 때 성능이 버티느냐예요. 공정성은 방언이나 성별, 인종 표현을 바꿨을 때, 그리고 집단별로 성능 차이가 나느냐고요.
전문가: 편향은 공정성과 헷갈리기 쉬운데, HELM은 둘을 구분해요. 공정성이 집단별 정확도 차이라면, 편향은 모델이 생성한 문장 자체가 특정 집단을 더 많이 언급하거나 고정관념과 엮는 쏠림이에요.
전문가: 유해성은 생성한 문장 중 유해 판정을 받은 비율이고, 효율은 학습에 든 에너지와 탄소 배출, 그리고 추론에 걸리는 시간이에요.
진행자: 지표가 일곱 개면 서로 엇갈리는 경우도 있겠죠?
전문가: 있었어요. 이것도 2022년 무렵 모델의 결과라 원리 예시로만 들면, 한 모델의 질의응답 정확도가 72.6%였는데 강건성 변형을 주자 38.9%로 떨어졌어요. 가장 정확한 모델이 가장 강건하거나 가장 공정한 모델은 아니었다고 HELM은 정리했어요.
전문가: 보정도 재미있어요. 어떤 시나리오에서는 정확도가 오르면 보정이 나빠졌고, 다른 시나리오에서는 같이 좋아졌어요. 정확도만 보고는 알 수 없는 거죠.
진행자: 브리프에 17.9%라는 숫자가 있던데, 그게 뭔가요?
전문가: 오늘 숫자 중에 제일 인상적인 거예요. HELM 이전에는 모델들이 HELM의 핵심 시나리오 중 평균 17.9%에서만 평가돼 있었어요. 흩어진 논문들을 다 모아도요. 어떤 유명 모델들은 공통으로 평가된 시나리오가 하나도 없었어요.
진행자: 공통 시험이 하나도 없는데 누가 낫다고 비교했다는 거네요.
전문가: 그렇죠. HELM은 같은 조건으로 다시 재서 이걸 96.0%까지 올렸어요. 당시 모델 30개 기준이에요. 이 숫자가 주는 교훈은, 모델 비교표를 볼 때 두 모델이 정말 같은 시험을 같은 조건으로 봤는지부터 확인하라는 거예요.
전문가: 그리고 HELM도 스스로 다 잰다고 주장하지 않아요. 소외된 영어 방언의 질의응답이나 신뢰성 지표처럼 빠진 부분을 명시했어요. 지도에도 빈칸이 있다는 걸 표시한 거죠.
진행자: 정리해 볼게요. 오늘 핵심은 세 가지 정도인 것 같아요.
진행자: 첫째, 벤치마크 유형마다 재는 게 다르다. 객관식은 넓은 지식, 코드 테스트는 기능적 정답, 선호 투표는 특정 사용자 집단의 취향, time horizon은 사람 시간으로 환산한 과제 수행 능력이요.
진행자: 둘째, 숫자 옆의 조건을 봐야 한다. 객관식은 묻는 형식, pass@k는 k가 몇인지, 에이전트 점수는 scaffold와 과제 모음, 선호 점수는 누가 투표했는지.
진행자: 셋째, 정확도 하나로는 보정, 강건성, 공정성 같은 게 안 보이고, 한국어 점수는 번역 시험인지 원문 시험인지에 따라 뜻이 다르다.
전문가: 잘 정리해 주셨어요. 하나만 더하면, 점수를 볼 때 이 시험이 우리 업무와 얼마나 닮았는지 물어보는 습관이요. 닮지 않았다면 그 점수는 참고 자료지 결론이 아니에요.
진행자: 다음 회차에서는 시험지를 미리 본 모델, 데이터 오염 이야기를 합니다. 공개된 벤치마크 문제가 학습 데이터에 섞이면 점수가 무엇을 재게 되는지요.
전문가: 그리고 3편에서는 벤치마크의 유통기한, 포화 문제를 다룰 거예요. 오늘 본 time horizon이 왜 계속 더 긴 과제를 찾아야 하는지도 거기서 이어집니다.
진행자: 오늘 인용한 논문과 글은 설명란에 모두 정리해 뒀습니다. 들어 주셔서 감사합니다.