Subscribe
Share
Share
Embed
체스는 어떻게 사람의 실력을 숫자 하나로 만들었을까요? 아르파드 엘로가 레이팅을 '측정 문제'로 풀어낸 이야기부터 FIDE 현행 규칙(K 계수, 400점 규칙의 변천, 2024년 압축), 인플레이션 논쟁, Chatbot Arena가 Bradley-Terry로 옮겨 간 이유까지 짚고, Ken Regan의 통계로 엔진 부정행위를 어디까지 가려낼 수 있는지 살펴봅니다. Regan 자료는 한 저자의 자료이고, Sonas 보고서는 FIDE 의뢰, LMSYS 글은 운영진 자체 보고라는 점도 밝혀 둡니다.
체스는 어떻게 사람의 실력을 숫자 하나로 만들었을까요? 아르파드 엘로가 레이팅을 '측정 문제'로 풀어낸 이야기부터 FIDE 현행 규칙(K 계수, 400점 규칙의 변천, 2024년 압축), 인플레이션 논쟁, Chatbot Arena가 Bradley-Terry로 옮겨 간 이유까지 짚고, Ken Regan의 통계로 엔진 부정행위를 어디까지 가려낼 수 있는지 살펴봅니다. Regan 자료는 한 저자의 자료이고, Sonas 보고서는 FIDE 의뢰, LMSYS 글은 운영진 자체 보고라는 점도 밝혀 둡니다.
참고 자료
이 에피소드의 음성은 TTS로 합성되었습니다.
kalee 가 공부하고자 하는 내용들을 두서없이 업로드하는 팟캐스트
진행자: 안녕하세요. 오늘은 체스 얘기를 해 볼게요. 체스를 잘 몰라도 괜찮아요. 오늘의 주인공은 말이 아니라 숫자거든요.
전문가: 네. 질문은 두 개예요. 체스는 어떻게 사람의 실력을 숫자 하나로 만들었을까. 그리고 그 숫자와 엔진 분석으로 부정행위를 어디까지 잡을 수 있을까.
진행자: 실력을 숫자 하나로 말한다는 게 꽤 대담한 발상이죠. 게임 랭크, 매칭 점수, 요즘은 AI 모델 순위표까지 비슷한 걸 쓰잖아요.
전문가: 맞아요. 그 뿌리 중 하나가 체스의 Elo 레이팅이에요. 오늘은 그 숫자가 어떻게 움직이는지, 누가 왜 만들었는지, 숫자가 부풀거나 쪼그라드는 문제, 그리고 엔진과 너무 닮은 수를 통계로 가려내는 이야기까지 가 볼게요.
진행자: 왜 하필 지금 이 얘기예요?
전문가: 체스 레이팅 규칙이 최근 몇 년 사이 꽤 바뀌었어요. FIDE의 새 레이팅 규정이 2024년 3월 1일부터 적용됐고, 2025년 10월 1일에 일부가 또 개정됐어요.
전문가: 게다가 엔진이 사람보다 훨씬 강한 시대라, 대국 중에 엔진 도움을 받는 부정행위를 어떻게 가려낼지가 계속 관심거리고요.
진행자: 시작 전에 이름 몇 개만 정리할게요. FIDE가 정확히 뭐의 약자예요?
전문가: 프랑스어 Fédération Internationale des Échecs의 약자로, 국제체스연맹이에요. 국제 레이팅을 관리하는 곳이죠.
진행자: USCF도 나올 텐데요.
전문가: United States Chess Federation, 미국체스연맹이에요. Elo 방식을 FIDE보다 먼저 채택한 곳이 여기예요.
진행자: Elo는요? 이것도 약자예요?
전문가: 아니에요. 사람 이름이에요. 물리학 교수였던 아르파드 엘로, Arpad Elo의 성이에요.
진행자: 뒤에서 AI 얘기도 잠깐 한다고 했죠.
전문가: 네. Chatbot Arena라는 AI 모델 순위표를 운영하던 LMSYS가 나와요. Large Model Systems Organization의 약자예요.
진행자: 그리고 오늘 자주 나올 말이 기대 점수와 K 계수죠.
전문가: 기대 점수는 레이팅 차이로 예측한 평균 득점이에요. 이기면 1점, 비기면 0.5점, 지면 0점으로 세고, 이 상대와 여러 번 두면 평균 몇 점을 낼지를 뜻해요.
전문가: K 계수, 영어로 K-factor는 한 판 결과가 레이팅을 얼마나 크게 움직일지 정하는 배율이에요.
진행자: 그럼 본격적으로요. Elo 레이팅은 어떻게 움직여요?
전문가: 원리는 한 문장이에요. 경기 전에 두 사람의 레이팅 차이로 기대 점수를 계산하고, 실제 점수가 기대와 얼마나 다른지만큼 레이팅을 올리거나 내려요.
진행자: 예상보다 잘하면 오르고, 못하면 내리고.
전문가: 그렇죠. 그래서 강한 상대를 이기면 많이 오르고, 약한 상대를 이기면 조금 올라요. 약한 상대를 이기는 건 원래 기대했던 일이니까요.
전문가: 일기예보에 비유할 수 있어요. 맑을 확률 90%라고 했는데 맑으면 별로 놀랍지 않죠. 10%라고 했는데 맑으면 크게 놀라고요. Elo는 그 놀람의 크기만큼 숫자를 고친다고 보면 돼요.
진행자: 그 고치는 크기를 정하는 게 K 계수고요.
전문가: 네. K가 크면 몇 판 만에 크게 움직이고, 작으면 천천히 움직여요. 볼륨 노브의 감도 같은 거예요.
진행자: 레이팅 2000점, 이런 숫자 자체에는 의미가 있어요?
전문가: 재밌게도 숫자 자체에는 절대적인 의미가 없어요. 의미가 있는 건 차이뿐이에요.
전문가: 그래서 FIDE와 각국 연맹이 시간이 지나도 숫자의 의미가 유지되도록 많은 노력을 해 왔다고 Regan과 Haworth의 2011년 논문은 적어요. 이 점은 인플레이션 논쟁에서 다시 중요해져요.
진행자: 차이가 얼마면 어느 정도 이긴다, 감이 오는 숫자가 있어요?
전문가: FIDE 규정에 표가 있어요. 레이팅 차이가 190점 안팎이면 높은 쪽 기대 점수가 75%예요. 네 판 두면 세 판 몫의 점수를 낼 거라는 뜻이죠.
전문가: 400점 안팎 차이면 높은 쪽이 92%, 낮은 쪽이 8%예요.
진행자: 400점 차면 열 판에 아홉 판 넘게 이긴다는 거네요.
전문가: 점수로 치면 그 정도예요. 그래서 흔히 400점 차이마다 강한 쪽의 기대 점수가 상대의 대략 열 배가 된다고 설명해요. 다만 이건 로지스틱 공식 기준 설명이고, FIDE 표의 92 대 8은 정확히 열 배는 아니에요. 대략 열 배로 기억하면 돼요.
진행자: 로지스틱이라는 말이 나왔는데, 처음부터 그 곡선을 썼어요?
전문가: 아니요. 엘로는 원래 한 선수의 한 판 경기력을 종 모양의 정규분포를 따르는 값으로 보고, 실력은 그 평균이라고 가정했어요. 경기력이 흔들리는 폭, 표준편차는 모든 선수에게 똑같이 200점으로 정했고요.
전문가: 쉽게 말하면 사람은 날마다 컨디션이 다르지만 대개 자기 평균 근처에서 둔다는 거예요.
전문가: 그런데 미국체스연맹이 실제 결과를 보니, 특히 하위 레이팅 선수의 결과를 정규분포가 잘 맞추지 못했어요. 약한 선수가 이기는 일이 예측보다 많았던 거죠. 그래서 로지스틱 곡선 모델로 바꿨어요.
전문가: 그렇다고 두 모델이 크게 다른 답을 내는 건 아니에요. 실제로는 어느 쪽을 가정하든 차이가 거의 없는 경우가 많다고 Wikipedia는 설명해요.
진행자: 이쯤에서 사람 얘기를 듣고 싶어요. 아르파드 엘로는 어떤 사람이었어요?
전문가: 1903년 헝가리에서 태어났고, 1913년에 부모와 함께 미국으로 이주했어요.
전문가: 밀워키의 마켓대학교, Marquette University에서 물리학을 가르쳤어요. Wikipedia는 1926년부터 1969년까지라고 적는데, 이 부분에는 인용 표시가 없어요.
전문가: 체스 실력도 대단했어요. 위스콘신주 체스 챔피언을 여덟 번 했고, 1935년과 1936년에는 USCF의 전신인 American Chess Federation의 회장도 지냈어요.
진행자: 물리학자에 체스 챔피언. 레이팅을 만들기 딱 좋은 조합이네요. 그 전에는 레이팅이 없었어요?
전문가: 있었어요. USCF는 1950년대 초부터 약 8년 동안 케네스 하크니스, Kenneth Harkness가 만든 체계를 썼어요.
전문가: 그런데 엘로는 1982년 인터뷰에서 그 체계가 비현실적인 숫자와 디플레이션을 만들어서 뭔가 해야 했다고 회고했어요.
진행자: 뭐가 그렇게 문제였는데요?
전문가: 엘로의 설명으로는, 하크니스 체계는 9라운드 이하 대회와 10라운드 이상 대회에 서로 다른 공식을 썼고, 약한 대회에서 전승을 해도 레이팅이 깎일 수 있었대요.
진행자: 다 이겼는데 깎인다고요? 억울하겠네요.
전문가: 더 근본적인 문제도 있었어요. 엘로는 그 체계에 탄탄한 이론이 없다고 봤어요. 모든 경기력이 같은 확률로 나온다고 가정한 셈인데, 실제로 선수는 자기 평균 근처에서 두는 경우가 훨씬 많다는 거죠.
진행자: 그래서 엘로가 직접 나선 거예요?
전문가: 1959년에 USCF 회장 제리 스팬, Jerry Spann이 엘로에게 레이팅 체계 정비를 맡겼어요. 엘로는 기초 확률론부터, 말 그대로 처음부터 시작했다고 말했어요.
전문가: 그리고 이 일을 통계적 방법을 쓰는 측정 문제로 봤어요.
진행자: 측정 문제. 엔지니어 귀에 확 들어오는 표현이네요.
전문가: 디테일도 재밌어요. 사람들이 헷갈리지 않게 기존의 네 자리 숫자 척도를 그대로 두었고, 2000점을 강한 클럽 선수 수준으로 잡았어요.
전문가: 엔지니어 식으로 말하면, 안쪽 계산은 갈아엎고 사용자에게 보이는 화면은 그대로 둔 마이그레이션이죠.
진행자: 언제 채택됐어요?
전문가: USCF는 1960년 무렵 채택했어요. 무렵이라고 하는 이유가 있어요. Wikipedia는 1960년이라고 쓰지만 엘로 항목의 해당 문장에는 인용 필요 표시가 붙어 있고, 엘로 본인 인터뷰는 연도를 밝히지 않아요.
전문가: FIDE는 1970년에 엘로 방식을 채택했어요.
전문가: 엘로는 FIDE 적용이 가장 만족스럽고 매끄러운 작업이었다고 했고, 1980년까지는 계산을 전부 직접 했다고 말했어요.
진행자: 국제 레이팅을 한 사람이 직접 계산했다니요.
전문가: 이론은 The Rating of Chessplayers, Past and Present라는 책으로 정리했어요. 초판은 1978년, 2판은 1986년에 나왔어요.
진행자: 이제 지금 규칙으로 와 볼게요. 현행 FIDE 규정은 언제 만들어졌어요?
전문가: 2023년 12월 FIDE 이사회 승인을 거쳐 2024년 3월 1일부터 적용됐어요. 레이팅 목록은 매달 1일 새로 나와요.
진행자: K 계수는 몇이에요?
전문가: 세 단계예요. 40, 20, 10.
전문가: 40인 경우는 두 가지예요. 레이팅 목록에 새로 오른 선수가 30판을 채울 때까지, 그리고 18세 생일이 있는 해의 연말까지 레이팅이 2300 미만인 선수예요.
전문가: 레이팅이 2400 미만인 동안은 20이에요.
전문가: 공식 레이팅이 한 번이라도 2400에 닿으면 10이에요. 그 뒤에 2400 아래로 내려가도 계속 10이고요.
진행자: 신인과 어린 선수는 빨리 움직이게, 상위권은 천천히 움직이게.
전문가: 그렇게 읽을 수 있어요. 어린 선수는 실력이 빨리 변하니 숫자도 빨리 따라가야 하고, 이미 검증된 강자의 숫자가 한두 판에 크게 흔들릴 이유는 없으니까요.
전문가: 안전장치도 있어요. 한 달에 둔 판수가 아주 많으면, K 곱하기 판수가 700을 넘지 않도록 K를 줄여요.
진행자: 바닥도 있어요?
전문가: 있어요. FIDE 목록에는 1400 이상인 선수만 실려요. 1400 아래로 떨어지면 다음 목록에서 레이팅 없음으로 표시돼요.
전문가: 첫 레이팅을 받는 과정도 독특해요. 레이팅 있는 상대와 최소 5판을 둬야 하고, 계산할 때는 실제 상대들 말고도 1800점짜리 가상의 상대 두 명과 비긴 것으로 쳐요. 첫 레이팅의 최고치는 2200이고요.
진행자: 가상의 상대라니, 왜요?
전문가: 첫 레이팅이 너무 극단적으로 나오지 않게 모두를 가운데 쪽으로 당겨 주는 장치예요. 이게 왜 필요해졌는지는 인플레이션 얘기에서 나와요.
진행자: 그리고 오늘의 문제적 규칙, 400점 규칙이요.
전문가: 레이팅 차이가 400점을 넘어도 계산할 때는 400점으로 쳐요. 그래서 아무리 약한 상대라도 강한 쪽의 기대 점수는 92%에서 멈춰요.
진행자: 그게 왜 논쟁거리예요?
전문가: 약한 상대만 골라서 두면, 실제로는 거의 다 이기는데 기대 점수는 92%로 묶여 있잖아요. 그 차이만큼 판마다 조금씩 점수를 수확할 수 있어요.
전문가: Jeff Sonas의 분석이 있어요. 2010년과 2011년에 레이팅 차이가 아주 큰 경기 약 7만 2천 판 가운데, 강한 쪽이 2400에서 2799 사이인 약 1만 7천 판을 보니, 강한 쪽이 평균 95% 넘게 득점했대요. 공식 기대 점수는 92%였고요.
진행자: 그 몇 퍼센트포인트가 공짜 점수가 되는 거네요.
전문가: 그래서 이 규칙은 여러 번 바뀌었어요. 역사가 꽤 파란만장해요.
전문가: 원래 350점 규칙이었다가 2010년 무렵 400점 규칙이 됐고, 2022년 무렵에는 한 대회에서 한 번만 적용하도록 제한했어요. Sonas는 이 제한이 점수 수확을 막는 장치로 도입됐다고 설명해요.
전문가: 그러다 2024년 3월 새 규정에서 횟수 제한 없는 400점 상한으로 돌아갔어요. 한 대회에서 몇 번이든 적용되는 거죠.
전문가: 그리고 2025년 10월 1일 개정으로, 400점 상한은 2650 미만 선수에게만 적용하고 2650 이상 선수는 레이팅 차이를 그대로 쓰게 됐어요.
전문가: FIDE는 레이팅 체계의 공정성과 무결성을 지키고 최상위 선수들에게 공평한 조건을 주려는 개정이라고 밝혔고, 영향을 받는 선수를 최상위 그랜드마스터 약 70명으로 잡았어요.
진행자: 그러면 최상위권은 이제 약한 상대를 이겨도 92%라는 쿠션이 없는 거네요.
전문가: 네. 2650 이상이면 실제 차이대로 기대 점수가 계산되니까요.
진행자: 이제 인플레이션과 디플레이션 얘기를 해 볼게요. 정확히 뭐예요?
전문가: 인플레이션은 같은 실력인데 시간이 지나면서 숫자가 높아지는 현상이고, 디플레이션은 반대로 낮아지는 현상이에요. 레이팅은 차이만 의미가 있어서 세대를 넘어 비교하기가 어려워요.
전문가: 물가로 치면 같은 짜장면인데 가격표가 바뀌는 거죠. 문제는 체스에는 짜장면처럼 고정된 기준 상품이 없다는 거예요.
진행자: 숫자는 왜 흘러가요?
전문가: 순수한 Elo에서는 점수를 서로 주고받기만 해요. 그래서 신규 선수가 들어오고 경험 많은 선수가 은퇴하면, 시간이 지나며 디플레이션이 생기기 쉬워요.
전문가: 실제로 1995년 USCF는 빠르게 실력이 느는 어린 선수들을 체계가 따라잡지 못했다는 걸 인정했어요. 기존 선수들이 점수를 잃었고, 일부는 체스를 그만두기도 했어요.
진행자: 어린 선수가 실력이 늘면서 어른들 점수를 가져가는데, 그 몫을 체계가 따로 채워 주지 못한 거군요.
전문가: 좋은 정리예요. 그런데 반대 방향 주장도 있어요.
전문가: Jeff Sonas는 최상위 선수들을 근거로 FIDE 레이팅이 1985년 무렵부터 부풀었을 수 있다고 봤어요. 원인 일부로 오랫동안 2200이던 레이팅 하한을 꼽았고요. 이 부분은 Wikipedia 요약으로만 확인했어요.
전문가: Wikipedia가 인용하는 숫자로는 상위 100명 평균이 1975년에서 1985년 사이 약 2550, 2000년 7월 2644, 2012년 7월 2703이었어요.
진행자: 숫자만 보면 확실히 올라갔네요. 그럼 인플레이션 맞는 거 아니에요?
전문가: 그걸 전혀 다른 방법으로 잰 사람이 있어요. Ken Regan이에요. 뒤에 나올 부정행위 탐지에서도 주인공이고요.
전문가: Regan과 Haworth는 2011년 논문에서 결과가 아니라 둔 수의 질로 실력을 재 봤어요. 그 결과 1976년부터 2009년 사이 인플레이션은 거의 없었고, 있다면 오히려 디플레이션 쪽이라고 결론 냈어요.
진행자: 수의 질로 잰다는 게 어떤 거예요?
전문가: 출발점은 이거예요. 결과 기반 레이팅은 운에 흔들려요. 상대가 실수해 줘서 이긴 판도 1점이니까요. 선수 집단이 바뀌면서 생기는 드리프트에도 흔들리고요.
전문가: 그래서 매 수마다 엔진이 가능한 수를 최대 50개까지 평가해서 좋은 순서로 줄 세우고, 선수가 실제로 둔 수가 몇 번째였는지를 봐요.
전문가: 엔진은 당시 최강으로 꼽히던 Rybka 3였고, 깊이 13플라이로 돌렸어요. 1플라이는 한쪽의 한 수예요. 저자들은 이 설정을 대략 2650에서 2700 수준의 실력으로 봤어요.
진행자: 엔진을 채점관으로 쓰는 거네요.
전문가: 맞아요. 핵심 아이디어는 직관적이에요. 최선의 수가 다른 수보다 확연히 좋으면 사람도 그 수를 둘 가능성이 높아요. 반대로 다섯 수가 거의 비슷하면 각각 20% 안팎으로 나뉘고요.
전문가: 시험으로 치면, 정답이 뻔한 쉬운 문제를 맞힌 것과 그럴듯한 보기가 다섯 개인 문제를 맞힌 건 의미가 다르다는 거죠.
전문가: 모델 속 가상의 선수는 손잡이 두 개로 표현돼요. 민감도 s는 조금 나쁜 수를 얼마나 잘 가려내는지, 일관성 c는 나쁜 수를 얼마나 꾸준히 피하는지예요. s는 작을수록 강한 선수예요.
전문가: 사람다운 보정도 넣었어요. 이미 크게 앞서거나 뒤지고 있으면 사람은 작은 차이에 덜 민감하다는 게 데이터에서 보여서, 그런 상황에선 엔진 평가 차이를 줄여서 썼어요.
진행자: 데이터는 어떻게 모았어요?
전문가: 두 선수 모두 2700, 2600 같은 특정 레이팅 근처인 표준 시간 경기만 모았어요. 시기는 2006년부터 2009년, 1991년부터 1994년, 1976년부터 1979년, 세 구간이고요.
전문가: 처음 8수, 반복 수순, 한쪽이 크게 앞선 국면은 뺐어요. 6천 판 넘게 분석했는데, 한 판에 프로세서 코어 하나로 6시간에서 8시간이 걸렸대요.
진행자: 2011년에 그 규모면 엄청난 계산이네요. 결과는요?
전문가: 두 가지예요. 첫째, 레이팅이 높을수록 엔진 1순위 수와 일치하는 비율이 매끄럽게 올라갔어요. 2006년에서 2009년 데이터 기준으로 1600점대는 약 43에서 44%, 2700점대는 약 56%였어요.
진행자: 생각보다 낮은데요? 최상위 선수도 절반 조금 넘게만 엔진과 같은 수를 둔다는 거잖아요.
전문가: 이 점은 부정행위 얘기에서 아주 중요해요. 둘째 결과는, 같은 레이팅 구간의 s값이 세 시기에서 거의 같았다는 거예요. 같은 숫자가 시대가 달라도 비슷한 수의 질을 뜻했다는 거죠. 그래서 인플레이션은 거의 없었다고 본 거고요.
전문가: 저자들은 함의도 적었어요. 1970년대에 2700 이상은 피셔와 카르포프 둘뿐이었는데 최근엔 30명 이상이다. 인플레이션이 없다면 지금 그 선수들이 피셔와 카르포프를 뺀 옛 선수들보다 강하다는 뜻이 된다고요.
진행자: 한계도 있겠죠?
전문가: 있어요. 엔진 하나, 깊이 13 고정이고, 각 수를 독립 사건으로 가정했는데 실제로 수는 계획에 따라 이어지죠. 레이팅 구간별 평균만 맞췄고, 분산과 신뢰구간은 다음 과제로 남겼어요. 1976년에서 1979년은 2300에서 2600 구간만 비교할 수 있었고요.
진행자: 그런데 FIDE는 최근에 디플레이션을 고쳤다고 하지 않았어요?
전문가: 네. 이번엔 방향이 반대예요. 2023년 FIDE 의뢰로 Sonas가 진단한 문제는, 1000점에서 2000점대 레이팅이 실제 실력 차보다 너무 넓게 퍼져 있다는 거였어요. Sonas는 레이팅이 늘어나 있다고 표현해요.
전문가: 근거 하나만 들면, 최근 5년 표준 경기에서 1000점 근처 선수가 1400점 근처 상대에게 기대 점수는 8%인데 실제로는 19%를 냈어요.
전문가: 1000점 집단과 2000점 집단은 실제 경기 결과로 보면 600점도 채 차이 나지 않았어요. 1000에서 2000 구간 전체에서 실력 차는 레이팅 차의 약 60%였고요.
진행자: 실제보다 눈금이 길게 찍히는 고무줄 자 같네요.
전문가: 딱 그 느낌이에요. Sonas가 꼽은 주범은 첫 레이팅 계산식이에요. 너무 낮게 첫 레이팅을 받은 어리고 실력이 느는 선수들이 기존 선수들의 점수를 가져가고, 그 효과가 대국 연결망을 타고 위로 번진다는 거죠.
전문가: Sonas는 2015년 무렵 첫 레이팅 받기가 쉬워진 뒤 하위권 선수는 크게 늘었지만 마스터급 이상 선수 수는 늘지 않았고, 보고서를 쓴 2024년 초에는 디플레이션이 2600점대까지 닿았다고 주장했어요.
진행자: 그래서 처방은요?
전문가: 두 가지였어요. 하나는 압축이에요. 2000점 미만 선수에게 일회성으로, 2000점과의 차이의 40%만큼 더해 줬어요. 1000점이면 400점, 1600점이면 160점이 오르고, 2000점 이상은 그대로예요.
전문가: 다른 하나는 계산 개선이에요. 하한을 1000에서 1400으로 올리고, 첫 레이팅에 1800점 가상 상대와의 무승부 두 판을 넣고, 400점 규칙을 횟수 제한 없는 형태로 되돌렸어요.
진행자: 가상의 상대가 여기서 나오는군요.
전문가: 네. FIDE는 2023년 7월에 이 제안을 공개 의견 수렴에 부쳤고, 2023년 12월 이사회가 승인했어요. 새 규정은 2024년 3월 1일에 발효됐고요.
전문가: Sonas는 하한을 1000이나 1200에 두는 시뮬레이션에서 디플레이션이 빨리 돌아왔다며, 1400으로 막는 게 신중하다고 봤어요.
전문가: 다만 짚어 둘 게 있어요. Sonas 보고서는 FIDE 자격위원회의 의뢰를 받은 컨설턴트 보고서이고, 규정 변경의 근거 문서예요. FIDE와 독립된 평가로 보기는 어렵고, 오늘 자료에는 이 진단에 대한 독립 반론 원문이 없어요.
진행자: 정리가 필요하겠는데요. 한쪽은 인플레이션, 한쪽은 인플레이션 없음, 한쪽은 디플레이션. 누가 맞아요?
전문가: 제 답은 무엇으로 재느냐에 달렸다예요. 세 주장은 재는 방법이 서로 달라요.
전문가: Sonas의 예전 견해는 최상위권 숫자의 추이를 봤고, Regan과 Haworth는 수의 질을 봤고, Sonas의 2024년 보고서는 실제 승패를 기대치와 비교했어요. 보는 구간도 달라요. 앞의 둘은 최상위권과 2200 이상 위주이고, 2024년 보고서는 하위권에서 시작된 문제를 다뤄요.
진행자: 체온계, 체중계, 줄자로 각각 건강을 재고 서로 다른 결론을 낸 셈이네요.
전문가: 그렇게 보시면 돼요. 그리고 Regan 쪽 결론에는 2011년 논문 하나, 엔진 하나, 깊이 13이라는 조건이 붙어요.
진행자: 잠깐 옆길로 가 볼게요. 같은 수학이 AI 순위표에도 쓰였다면서요.
전문가: 네, 짧게만 할게요. Chatbot Arena도 처음엔 Elo 방식으로 모델 순위를 매겼어요. 그러다 LMSYS가 2023년 12월 7일, 순위 계산을 온라인 Elo에서 Bradley-Terry 모델로 바꿨다고 발표했어요.
진행자: 왜요?
전문가: 온라인 Elo는 판이 끝날 때마다 갱신하는 방식이라 최근 경기에 무게가 더 실려요. 운영진은 이 방식으로 점수가 꽤 들쭉날쭉했다고 적었어요.
전문가: 체스 선수는 실력이 변하지만, 가중치가 고정된 언어 모델은 대부분 실력이 변하지 않죠. 그래서 실력을 고정된 미지수로 보는 Bradley-Terry가 더 맞는다고 봤어요. 게다가 모든 대결 기록을 다 갖고 있으니 한 판씩 갱신할 필요 없이 한꺼번에 계산할 수 있고, 그렇게 하니 점수가 더 안정되고 신뢰구간도 더 정확해졌다고 해요.
전문가: 흥미로운 건 두 방법의 평균 점수와 순위가 거의 같았다는 거예요. 다만 이건 운영진이 자기 시스템에 대해 쓴 자체 보고이고, 2023년 말 시점 얘기예요. Arena 자체는 지난 LLM 벤치마크 회차들에서 자세히 다뤘어요.
진행자: 체스에서 K 계수로 최근 경기를 얼마나 믿을지 조절하던 고민이, AI에서는 실력이 안 변하니 한 판씩 갱신할 필요 자체를 없애자로 간 거네요.
진행자: 이제 오늘의 두 번째 질문이요. 엔진과 너무 닮은 수로 부정행위를 잡을 수 있어요?
전문가: 먼저 출처 얘기부터 할게요. 지금부터 나오는 내용은 대부분 Ken Regan 본인 자료예요. 2011년 논문, Fidelity라는 프로젝트 페이지, 2025년에 심판들을 위해 쓴 해설이요. 한 저자의 자료라 서로 독립 근거가 아니라는 점을 감안해 주세요.
전문가: Fidelity 프로젝트의 질문은 이거예요. 사람의 수가 조언자, 즉 컴퓨터 엔진의 추천과 얼마나 일치하는지, 그리고 어떤 일치가 중요한지. 대국 중에 자기 판단이 아니라 엔진을 따르는 게 곧 부정행위니까요.
진행자: 그럼 엔진과 일치율이 높으면 의심하면 되는 거 아니에요?
전문가: 그게 첫 번째 함정이에요. 엔진 평가에서 확연히 돋보이는 수는 강한 사람도 쉽게 찾아요. 그런 수와 일치한 건, 근소한 차이로 여러 후보 중에서 고른 수와 일치한 것보다 훨씬 약한 증거예요.
전문가: 시험 비유로 다시 가면, 다들 맞히는 쉬운 문제에서 정답을 썼다고 커닝을 의심하진 않잖아요. 애매한 문제에서 계속 출제자와 똑같이 고를 때가 수상한 거죠.
전문가: 스타일도 영향을 줘요. 강제적인 수순을 즐기는 선수와 둔 상대는, 같은 엔진과의 일치율이 비교적 높게 나와도 놀랄 일이 아니라고 Regan은 적어요. 뻔한 수가 이어지는 대국이 되니까요.
진행자: 그럼 일치율이 얼마면 정상인 거예요?
전문가: 생각보다 폭이 좁아요. 2025년 해설에 따르면 FIDE 레이팅 1400에서 2800까지, 기대 일치율은 약 39%에서 61% 사이예요. 2100점 근처는 약 50%고요.
진행자: 실력 차는 엄청 큰데 일치율 차이는 스무 포인트 남짓이네요.
전문가: 그래서 일치율 숫자만으로는 판단하기 어렵고, 현행 시스템은 비교 기준을 세워요. Stockfish 16 엔진을 정해진 깊이와 노드 수로 돌려서, 선수의 실제 일치율과 평가 손실을 그 레이팅이면 기대되는 값과 비교해요.
전문가: 국면이 얼마나 강제적이었는지도 보정해요. 그래서 일치율이 높아도 국면이 뻔했다면 정상 범위로 나올 수 있어요.
진행자: 기대값과 비교한다면, 얼마나 벗어나야 이상한 거예요?
전문가: 여기서 z점수가 나와요. 기대값에서 얼마나 벗어났는지를 표준편차 단위로 잰 값이에요. 0이면 기대 그대로이고, 클수록 정상적인 경기에서 나오기 어려운 결과예요.
전문가: Regan의 비유는 동전 던지기예요. 앞면이 기대보다 얼마나 많이 나왔는지를 흔한 흔들림 몇 개분으로 세는 거죠. 이 비유가 잘 맞으려면 최소 100개 정도의 수가 필요하다고 해요.
전문가: 2025년 해설은 기준선도 적어 둬요. 다른 증거와 함께 볼 때 통계가 강한 의미를 갖기 시작하는 바닥이 z점수 2.5, 통계만으로 판단을 고려할 수 있는 선이 5.0이에요. 그 사이는 다른 요인과 함께 저울질하는 구간이고요.
전문가: 말로 풀면, 다른 정황이 있을 때는 흔한 흔들림 두 개 반 정도의 이탈부터 무게를 두고, 통계 하나만으로 판단하려면 다섯 개분은 벗어나야 한다는 거예요. 통계만 볼 때 기준이 훨씬 엄격한 거죠.
진행자: 왜 그렇게 조심스러워요?
전문가: 이유가 몇 가지 있어요. 첫째, 검사가 두 단계예요. 경기 직후 한 시간 안에 나오는 빠른 선별 결과는 원자료일 뿐 판단용이 아니에요. 국면마다 수 확률과 신뢰구간을 내는 정밀 검사는 판당 몇 시간이 걸리고, 통계적 판단은 이것만으로 해요.
전문가: 선별에서 걸린 사례 대부분은 국면이 평소보다 강제적이었던 경우라, 정밀 검사에서 정상 범위로 돌아간대요.
전문가: 둘째, 기저율 문제예요. 같은 z점수라도 부정행위가 얼마나 흔한지에 따라 의미가 달라져요. Regan은 이걸 암 검사에 빗대요. 아주 드문 병이면 정확한 검사에서 양성이 나와도 실제로 병이 없는 사람이 더 많을 수 있잖아요.
전문가: 대면 경기의 부정행위 비율로 가장 흔히 거론되는 추정치가 약 1만 명 중 1명인데, Regan은 이게 자기 경험과 데이터에 맞는다고 했어요. 온라인은 2% 쪽, 그러니까 50명 중 1명 정도로 봤고요.
진행자: 온라인이 훨씬 높네요. 같은 점수라도 대면 경기에선 더 조심해서 읽어야겠고요.
전문가: 셋째, 많이 들여다보면 우연히 튀는 사람이 나와요. 이걸 look-elsewhere effect라고 해요. 그래서 시스템 자체가 성급한 판단을 늦추도록 설계돼 있어요.
전문가: 복권 당첨자가 매주 나온다고 그 사람이 조작했다고 보진 않잖아요. 수많은 선수를 검사하면 누군가는 우연히 튀어요.
진행자: 그럼 통계의 역할은 어디까지예요?
전문가: Regan은 통계 증거가 물리적 증거나 관찰 증거보다 부차적이어야 한다고 썼어요.
전문가: 2025년 해설도 같은 방향이에요. 현장 증거가 뚜렷하면 통계는 확인하는 역할을 하고, 그렇지 않은 경우는 더 따져 보고 소통해야 한다고요.
전문가: 근본적인 숙제도 남아 있어요. Fidelity 페이지는 엔진 평가를 부정하지 않는 선수가 그 수를 둘 확률로 바꾸는 걸 핵심 과제로 꼽아요. 같은 대국을 반복 실험할 수 없는 체스에서는 이 확률을 추정하기가 어렵다고요.
전문가: 2011년 논문도 이 모델에 신뢰구간을 갖추면 부정 공모 의혹을 검증하는 데 쓸 수 있을 거라고 적었어요. 그때는 앞으로의 과제였던 거죠.
진행자: 정리해 볼게요. 첫째, Elo는 기대 점수와 실제 점수의 차이만큼 숫자를 고치는 측정 장치이고, 숫자 자체보다 차이에 의미가 있어요.
진행자: 둘째, 그 숫자가 부푸는지 쪼그라드는지는 무엇으로 재느냐에 따라 답이 달라요. FIDE는 2024년에 하위권 압축과 계산 개선으로 디플레이션 진단에 대응했고요.
진행자: 셋째, 엔진 일치율 하나로는 부정행위를 말할 수 없어요. 국면을 보정한 기대값과 비교해야 하고, 통계는 물리적 증거와 관찰 증거를 돕는 보조 수단이에요.
전문가: 덧붙이면 출처의 성격도 기억해 주세요. Regan 자료는 한 저자의 자료이고, Sonas 보고서는 FIDE가 의뢰한 것이고, LMSYS 글은 운영진 자체 보고예요.
전문가: 엘로 말대로 결국 측정 문제예요. 좋은 측정은 숫자를 내는 것만큼, 그 숫자를 어디까지 믿을지도 함께 말해 줘야 한다고 생각해요.
진행자: 오늘 참고한 FIDE 규정, Sonas 보고서, Regan의 자료, 엘로 인터뷰는 모두 설명란에 있어요. 들어 주셔서 감사합니다.