Elo은(는) 여기로 연결됩니다.
동음이의어에 대한 내용은 ELO 문서 참고하십시오.[clearfix]
1. 개요
헝가리/미국의 물리학 교수이자 체스 플레이어인 아르파드 엘뢰(Árpád Élő)# 박사가 체스 혹은 다른 분야에서 플레이어들의 실력을 표현하기 위해 만든 점수 측정 방식.엘뢰 박사의 성을 따서 붙여진 고유명사이므로 첫 글자만 대문자로 쓰는 것이 맞는데, 알파벳 3글자라는 이유로 한국에선 약자로 오해하고 ELO라고 잘못 쓰는 경우가 보이기도 한다. 발음도 '이-엘-오 레이팅'이 아니라 '엘로 레이팅'이라고 읽어야 한다.
2. 수식
사실 Elo레이팅은 딱 하나의 방식으로 정해진 점수체계가 아닌 '플레이어가 보여주는 실적은 정규분포의 확률변수이고 이것의 평균이 플레이어의 실력이며 실력은 시간에 따라 서서히 변화한다'는 가정을 따르는 모든 점수체계를 포괄적으로 이르는 말이다. 밑에 서술된 방식 이외에도 세계 체스 연맹에서 사용하는 FIDE 레이팅, 미국 체스 연맹에서 사용하는 USCF 레이팅[1] 외에도 필요에 따라 변형한 다양한 방식이 있다.[2]공식 체스에서 사용하는 FIDE 레이팅의 경우 한 달간의 경기를 모두 모은 뒤 매달 초 해당 공식에 따라 한번에 업데이트 하는 방식이나 바로 밑에 서술된 소위 Live rating이라 불리는 방식에선 매 게임이 끝나자마자 레이팅 변동을 확인할 수 있다.[3]
2.1. 예상 승률
We = 1 / (10(Pop – Pme)/400 + 1)
* Pop = 상대의 점수
* Pme = 나의 점수
* Pop = 상대의 점수
* Pme = 나의 점수
| 주요 승률 → 레이팅 변환 | 주요 레이팅 → 승률 변환 | |||
| 승률 | 레이팅 차이 | 레이팅 차이 | 승률 | |
| 1/2 (50.00 %) | 0.00 | 0 | 50.00% | |
| 3/5 (60.00 %) | 70.44 | 50 | 57.15% | |
| 2/3 (66.67 %) | 120.41 | 100 | 64.00% | |
| 7/10 (70.00 %) | 147.19 | 150 | 70.34% | |
| 3/4 (75.00 %) | 190.85 | 200 | 76.00% | |
| 4/5 (80.00 %) | 240.82 | 250 | 80.83% | |
| 5/6 (83.33 %) | 279.59 | 300 | 84.90% | |
| 6/7 (85.71 %) | 311.26 | 350 | 88.23% | |
| 7/8 (87.50 %) | 338.04 | 400 | 90.91% | |
| 8/9 (88.89 %) | 361.24 | 450 | 93.02% | |
| 9/10 (90.00 %) | 381.70 | 500 | 94.68% | |
| 10/11 (90.91 %) | 400.00 | 550 | 95.95% | |
| 11/12 (91.67 %) | 416.56 | 600 | 96.94% | |
| 19/20 (95.00 %) | 511.50 | 650 | 97.68% | |
| 49/50 (98.00 %) | 676.08 | 700 | 98.25% | |
| 99/100 (99.00 %) | 798.25 | 750 | 98.68% | |
| 100/101 (99.01 %) | 800.00 | 800 | 99.01% | |
| 199/200 (99.50 %) | 919.54 | 900 | 99.44% | |
| 499/500 (99.80 %) | 1079.24 | 1000 | 99.69% | |
| 999/1000 (99.90 %) | 1199.83 | 1100 | 99.82% | |
| 1000/1001 (99.9001 %) | 1200.00 | 1200 | 99.9001% | |
예를들어 레이팅이 나보다 100 높은 사람의 승률은 64%이다. 일반적으로 레이팅 800 이상 차이나는 경우 패배확률은 그냥 통계적 특이값으로 두고 승률 100%로 간주하는 경우가 많다.
2.2. Live Rating
간단히 말해 (가중치)×(실제 경기 결과-예상 승률)로 매 게임마다 증감되는 점수를 결정하는 방식이다.Pa = Pb + K * (W - We)
- Pa = 경기 후의 점수
- Pb = 경기 전의 점수
- K = 가중치
- W = 경기 결과. 승리 시 1, 무승부 시 0.5, 패배 시 0
- We = 예측된 승률
예시를 들자면 다음과 같다.
- 가중치 20, 예상 승률 50%: 승리한 사람은 +10점, 패배한 사람은 -10점, 무승부 시 점수 변동 없음
- 가중치 20, 예상 승률 75%: 강자가 승리 시 강자 +5, 약자 -5; 무승부 시 강자 -5, 약자 +5; 약자가 승리 시 강자 -15, 약자 +15
2.3. 수식의 원리
참고: 한국어 pgr, 한국어 LOL인벤, 영어 stackexchange, 영어 wikipedia가중치K는 경기 결과가 어느 정도로 점수를 바꾸는지를 의미한다. K 값을 정하는 것은 단체의 마음이며 수학적 의미는 없다. 피파 여자 랭킹처럼 과거 데이터로 시뮬레이션을 돌려서 (과거를) 최적 예측하는 K값을 설정[4]할 수 있기는 하다. glicko 등의 공식은 세련되게 이 점을 해결했다.
We 속의 <10, 400>는 400점 차이가 나면 승률비가 1:10라는 뜻이다. 즉 9.09%:90.90%. 임의로 설정을 해도 스케일링만 달라진다. Elo 박사가 처음 만든 건 <10,400>이다보니 FIDE를 비롯한 대부분 단체는 그대로 사용한다. FIFA 랭킹은 <10,600>을 사용한다.
3. 특징
3.1. 장점
신뢰성이 높다. 가장 큰 장점. 승률 방식에 비해서 플레이어들 간의 객관적인 실력 차이를 쉽게 알 수 있고 원리 문단에 나오듯이 수학적으로도 신뢰성이 높고 실제 데이터를 바탕으로 백테스트를 해도 신뢰성이 높다는 것이 밝혀졌다.양민학살을 통한 점수 올리기가 힘들고, 무엇보다도 그 양민에게 실수로 한 번이라도 패배하면 폭망하기 때문에[5] 높은 점수의 상대에게 도전하는 것을 권장하는 도전적인 시스템이기도 하다.
3.2. 단점 및 부작용
Elo 레이팅의 단점은 시간이 지나면 평균적인 레이팅이 상승하는 인플레이션이 발생한다는 것이다. 이런 인플레이션 때문에 다른 시대 기사 간 실력을 가리는 데는 부적합하다. 이론적으로는 언제나 잃는 점수와 얻는 점수가 동일하기 때문에 플레이어 전체 레이팅 평균은 동일해야 하지만, 현실에서는 게임의 흥행이나 규모가 변하거나 플레이어의 개인 사정으로 게임을 접는 등 플레이어풀이 변할 수 있기 때문에 평균이 변하게 된다. 게임을 그만두는 비율도 상위권보다는 하위권이 높을 수 밖에 없기 때문에 잘하는 플레이어는 하위권의 점수를 모아서 상위권으로 올라가고 점수가 빨린 하위권 플레이어가 게임을 접고 새로운 유입이 들어오는 과정을 통해 인플레이션이 발생하게 된다.시대 비교에 부적합한 단점은 인플레이션의 유무와는 상관없는 근본적인 한계이다. 인플레이션없이 이상적으로 유지된다면 제로섬 방식의 점수변동룰하에선 전체 평균=진입 rating으로 언제나 고정된다. 이는 elo점수 자체가 선수풀 내에서 상대평가라는 의미이며 따라서 elo 점수의 의미는 그 시점의 선수풀을 상대로 얼마나 퍼포먼스를 냈는가를 보여준다. (누적수치이고 경기수가 유한하므로 정확한 시점을 따질 순 없지만, 이건 모든 rating 자체의 근본적인 한계이므로 넘어가자 ).
소위 말하는 위크/스트롱 에라(전반적으로 수준이나 경쟁이 낮은/높은시대, 흔히 최고 elo 레이팅수치가 낮은/높은시대를 말함) 논쟁의 근거로 elo rating을 비교하곤 하는데 무의미하다.[6] 최상위권의 elo 점수가 높(낮)다는 것은 그들의 실력이 평균적인 수준과 격차가 크(적)다는 의미로 최강자들이 시대를 얼마나 지배했는지 나타낼 순 있어도, 평균적인 수준의 elo 점수는 항상 일정하게 유지(혹은 인플레)되므로 시대의 수준은 전혀 반영 하지 않는다. 상향평준화 된시대에 강자들을 빡세게 도장깨기 한것인지 시대를 잘만나 하향평준화된 기간에 양학하며 꿀빤것인지는 구별이 불가능하다는것. 한국기원과 유럽기원이 각자 동일한 elo 공식 으로 소속기사들의 레이팅을 내부적으로 내서 비교한다고 가정해보자. 동일한 실력을 가진 기사가 있면 유럽에선 레이팅이 높고 한국에선 상대적으로 낮을 것이다. 이때 한국보다 유럽 바둑계가 더 빡세고 수준높은 곳이라는 논리가 elo 점수로 하는 위크/스트롱 에라 판단이다. 물론 현실에선 누적점수인 특성상 평균적인 수준이 단기간에 크게 변하기는 힘들기 때문에 시간차가 가까울수록 의미있는 비교는 가능하다.
최근 들어 컴퓨터 체스가 보급되면서 마스터급 선수들의 기량을 엄청난 속도로 따라잡아 버리는 어린 선수들이 많이 배출되고 있다. 문제는 경력이 짧은 선수들의 초기 레이팅은 기본적으로 낮게 설정되어 있기 때문에 플레이어들이 자기보다 레이팅이 낮은 플레이어들의 도전을 회피하는, 일명 "레이팅 관리"에 들어간다.[7] 특히 경력이 오래된 선수들이 이런 신예들을 알게 모르게 기피하는 현상이 나타난다.
이런 일을 줄이기 위해 FIDE는 기준 점수(k값)를 경우를 나눠 차등적으로 적용하는데, 총 매치가 30판 이하이거나 만 18세 미만[8]일 경우 k=40이며 2400 미만 플레이어는 k=20, 2400 이상 플레이어는 k=10이다. 예를 들어 Elo가 2400이며 많은 경기를 치른 플레이어 A와, A를 쉽게 이길 정도로 잘 두지만 막 가입한 신인 B가 경기를 하여 B가 이겼다고 가정하자. 이때 B의 k값은 40이고 A의 k값은 10이므로 B가 얻은 Elo는 A가 잃은 Elo의 4배로 적용된다.[9] 이때의 장점은, 만약 A와 B의 elo가 같아질 때까지 계속해서 둔다고 할 때, k값이 없었으면 A와 B는 각각의 Elo의 중간값에서 만나게 되어 이미 수많은 경기를 치러온 A의 Elo가 신인 B로 인해 심각하게 왜곡된다. 그러나 k값을 적용한다면 B는 A가 Elo를 잃는 정도보다 훨씬 많이 Elo를 가지므로 A와 B의 격차가 빨리 줄어들고, 이에 따른 A가 잃는 Elo도 줄어들기에 머지않아 A의 점수대 부근에서 만날 것이다.
4. 사용
4.1. 체스에서
세계체스연맹(FIDE)에서 부여하며 1971년부터 도입되었다. 공식적으로 레이팅을 부여받기 위한 최소 레이팅은 1400[10]이다.(레이팅을 받은 후 패배해서 1400 밑으로 떨어지는 것은 상관없다.) 레이팅 업데이트는 매달 이뤄진다. 레이팅은 로그함수적으로 증가하기 때문에 레이팅이 높아질수록 올리기 힘들다.약 400 차이 날 때마다 기대 득점은 1/10씩 떨어진다. 예를 들어 보면, 체스 세계 챔피언의 레이팅은 2800대이다. 챔피언이 레이팅 1200점인 일반인과 붙는다고 가정하면, 레이팅 1600 차이가 나므로 일반인이 세계 챔피언을 이길 확률은 10000경기해서 얻을 수 있는 기대득점은 1점 이하라는 걸 알 수 있다.[11]
그랜드 마스터 칭호를 받기 위한 공식 조건[12] 중 하나가 레이팅 2500을 달성하는 것이다. GM 중 2700을 넘는 플레이어는 같은 GM들을 상대로도 명백히 우월한 경기력(75% 승률)을 가지기 때문에 비공식적으로 슈퍼 GM이라고 불린다. (좀 더 보수적으로 잡는다면 2750 이상의 선수들을 말하기도 하는데, 이러면 세계 상위 10명 정도밖에 슈퍼 GM으로 인정되지 않는다.) 인간 플레이어 중 Elo 레이팅 최고기록은 2882로 2014년 5월 세계 챔피언 망누스 칼센이 세웠다.
미국 체스 연맹(USCF)은 FIDE와 별개의 레이팅 시스템을 운영하며 이를 기준으로 네셔널 마스터(NM) 등의 타이틀을 수여하기도 한다. 물론 국제대회는 FIDE 레이팅을 기준으로 해야 한다.
요즘 나오는 체스 엔진 중엔 레이팅이 3600을 넘는 괴수들도 있어서, 카스파로프가 1996년 슈퍼컴퓨터 딥 블루 초기모델을 이긴 지 15년도 안 돼서 일반 컴퓨터가 세계 챔피언을 가지고 노는 수준에 도달했다. 다만 컴퓨터의 경우 시간, 하드웨어 등의 영향을 크게 받고 해당 점수는 엔진 전용의 표준 하드웨어와 시간을 사용한 결과이기 때문에 인간 플레이어의 점수와는 전혀 다르다. 다시 말해, 인간 2400점과 컴퓨터 2400점은 숫자만 같을 뿐 비슷한 실력일 것이라고 예상할 수 없다는 뜻이다.
한국에서 공식 레이팅을 획득하는 것은 굉장히 복잡하고 힘든 데다 돈도 왕창 깨지기 때문에 웬만큼 체스에 대한 애정이 있지 않은 이상 가진 사람이 거의 없다.
4.2. 체스 이외에서
Elo 점수책정 방식은 체스 이외의 다양한 분야에서 도입되었는데 그 대표적인 분야가 온라인 게임이다. 대전 게임에서는 재미를 위해서 사람들이 각자의 호적수와 만나게 하는 것이 중요한데 사람들의 실력을 Elo 레이팅은 정확하게 판별할 수 있기 때문이다.다만 주의해야 할 점이 있는데, 일부 게임의 레이팅은 엄밀히 말해 Elo 수식을 쓰지 않기도 한다는 것이다. Elo의 최대 핵심은 상대와 자신의 레이팅 수치의 차이를 통해 승률을 계산할 수 있고, 이에 기반해서 레이팅 변동치가 바뀌는 것인데, 이것 대신에 보다 단순하거나 독자적인 공식을 쓰는 게임도 있다. 포켓몬스터의 레이팅 매치가 대표적.
외국 스타크래프트 팬사이트인 팀리퀴드에서는 프로게이머들의 Elo 랭킹이 있다.
블리자드 엔터테인먼트도 이것에 영감을 받아 ELL 시스템을 만들었으며, 워크래프트 3 때부터 도입하기 시작했다. 특히 스타크래프트 2에서 MMR과 등급전 시스템이 정립되면서, 다른 블리자드 게임은 물론 타사 게임들까지 영향을 주어 본격적으로 보편화되는 데 한몫했다. 단, 오버워치 2에서는 이걸 그대로 쓰지 않고, 7승이나 20패 중 하나를 달성하는 순간 배치고사 종료 및 등급 재심사에 들어가서 여러 스탯을 산정하여 본인의 등급을 재조정한다.
리그 오브 레전드에서 매치 밸런스를 위해 사용하고 있다. 2013년부터의 랭크 게임에서 겉보기는 리그 시스템으로 돌아가고 있으나 실제로는 Elo 레이팅 시스템과 함께 개인의 승수를 반영하여 매치시켜 준다.[13]
워게이밍 시리즈(월드 오브 탱크, 월드 오브 워플레인, 월드 오브 워쉽)에서도 플레이어의 실력을 나타내기 위한 수단으로 사용된다. 못하는 유저와 잘하는 유저를 구분하는 데 확실히 효과가 있다는 평. 단, 월드 오브 탱크 기준 주로 쓰이는 것은 Wn7이나 퍼포먼스 등 유저들이 직접 공홈의 전적 자료들을 분석해서 나온 방식으로, 공홈에 노출되는 전적 자료만으로는 플레이어의 실력을 완전히 반영하지 못한다는 비판도 받고 있다. 워게이밍이 직접 레이팅을 만든다는 소식이 들려오자 게임상에 숨겨져 있는 좀 더 복잡한 자료들을 반영해 현실적이고 효과적인 레이팅을 만들어줄 것이란 기대도 있었으나 8.8 패치로 공개되고 나자 별로 좋은 평을 못 받고 있다. 레이팅은 그저 수치일 뿐이고, 공방은 MM 시스템으로 그냥 티어만 맞으면 매치시켜 주기에[14] 고수 3명이 소대맺고 공방을 휩쓰는 게 꽤나 문제가 되고 있다. 이른바 주작소대.
코즈믹 브레이크에서도 배틀레이트, Br이라는 이름으로 쓰이고 있지만 잘 활용되진 못하고 있다. Br제한방이 아니라면 큰 의미가 없는데 Br제한방을 돌만큼 유저 수가 많지 않기 때문이기도 하다.
축구에서도 사용한다. 여자 국가 대표 FIFA 여자 랭킹에서는 약 15년 전부터 사용했다. 남자 국가대표 FIFA 랭킹은 2018년 8월 이후부터 사용한다. 남자 국가대표 비공식 사이트 eloratings.net[15]은 전 경기를 소급 적용해서 사용한다. 남자 클럽 비공식 사이트 clubelo.com은 유럽 축구의 전 경기를 소급 적용해서 사용한다.
파이널 판타지 14 패치 4.5에 추가된 마작 미니게임에도 도입되어 있다.
Brawlhalla에서도 Elo 레이팅 시스템을 사용한다.
리듬 게임에서도 곡 수의 증가로 인해 단위인정으로는 더 이상 실력의 척도를 나타낼 수 없는 상황까지 오자 도입하는 경우가 늘어나고 있다. 이 시스템을 최초로 도입한 GITADORA 시리즈에서 따와 '스킬 포인트'라고 부르기도 한다. 단순히 오르기만 하는 것부터 깎이는 경우도 있는 등 게임마다 점수 책정법이 다양하다.
선술한 인플레이션 문제점을 해결하기 위해 다양한 PVP 온라인 게임에서는 대다수의 티어에서 승리 시 점수를 약간 더 짜게 주고 패배 점수를 약간 더 깎는다던지, 하위권에서는 승리 점수를 많이 퍼 주고 패배 점수를 적게 주던지, 최상위권에서는 승리 점수를 매우 짜게 주고 패배 점수를 뼈아플 정도로 주고 있다.[16]
신인 선수와 기존 선수의 불공정 문제를 해결하기 위해 k값을 차등 도입하는 것과 유사하게 첫 5판~10판에서는 배치게임 시스템을 적용하여 신규/복귀 유저가 자신에게 맞는 점수로 빠르게 잘 찾아갈 수 있도록 돕고 있다.
5. Elo의 변형 수식
본 문단에서는 Elo를 변형하여 일반화한 점수 체계를 소개한다. Glicko-1에서 가중치를 고정한 특수한 형태, Glicko-2에서 시간을 고정한 특수한 형태가 Elo 레이팅이다.Elo와 관련이 없는 점수 체계는 영문 위키 통계적 예측 문서를 참고하면 좋다.
5.1. Glicko
Elo 공식에서 단체가 임의로 정하는 값인 가중치를 더 수학적으로 엄밀히 다듬어 유동적으로 변하게 했다. Glicko-2와 비교하여 Glicko-1이라고도 한다.Elo의 단점이 초기 레이팅의 경우 불확실성이 크고 실제 실력에 맞는 레이팅을 찾기까지 오랜 기간이 걸린다는 점이다. Glicko에서는 초반엔 분산(RD, ratings deviation, 가중치)이 매우 크게 설정되어 있어 레이팅이 크게 변동한다.[17] 전적이 쌓일수록 분산이 작아져 값이 점차 안정된다.
게임을 안 한 상태로 시간이 지날수록 분산이 증가한다. [18] 1년간 출전 기록이 없던 플레이어가 다시 대회에 나왔을 때, 그 플레이어의 실력이 1년 전과 동일할 확률은 별로 없다. 시간에 따라 분산이 증가한다면 이때 분산이 다시 높아져 있기 때문에 다시 실력에 맞는 레이팅을 빠르게 찾을 수 있다.
실력에 비해 너무 높거나 낮은 레이팅을 가진 경우, 진짜 레이팅에 빠르게 수렴하며, 상대하는 입장에서도 분산이 큰 상대와 붙으면 증감이 적기 때문에 패배해도 큰 타격이 없다.
다만, 분산이 시간에 따라서 일정하게 증가하지만 게임을 자주 하면 할수록 줄어들어서 발생하는 문제점이 있다. 단지 자주 한다는 이유로 분산 자체가 지나치게 낮아져, 레이팅의 변동이 커야 할 상황임에도 변하지 않는 경우이다. 이를 예방하기 위해 개발자는 분산의 최솟값을 지정할 것을 권고하고 있다.
또 Glicko는 레이팅을 하나의 숫자가 아니라, 플레이어별로 주어지는 분산을 기반으로 한 신뢰도 95% 구간으로 나타낸다.
체스닷컴의 레이팅 시스템이 Glicko를 사용한다.
5.2. Glicko-2
Glicko-2 시스템은 레이팅에 변동성(volatility) 개념을 도입하여, 플레이어가 지속적으로 예측에서 벗어난 결과를 낼 경우, 분산이 증가하도록 하였다.리체스의 레이팅 시스템이 Glicko-2를 사용한다.
5.3. Glicko Boost
Glicko의 개선판이다. Glicko-2의 계산이 지나치게 복잡하다는 단점이 있어 이를 간소화하였다.[1] 특이하게도 점수의 하한이 있으며 더 높은 점수를 기록했을수록 하한도 높아진다. 이 외에도 밑의 점수증감 식에서 B(보너스)가 추가되었으며 K도 변형시켜 사용한다.[2] 주로 K값에 변형을 주는 경우가 많다.[3] 비공식적으로 프로 체스선수들의 Live rating을 보여주는 사이트가 있는데 공식 레이팅하고 차이가 벌어지는 것을 막기 위해 한달마다 공식 레이팅에 맞춰 초기화를 해주고 있다.[4] The ‘basis value of K’ was set to 15 after several simulations done by ISS and FIFA[5] 양민학살을 하고 있다면 본인이 강자 쪽이니, 이기면 조금 올라가지만 지는 순간 왕창 떨어질 수밖에 없다.[6] 대부분의 분야가 시간에따라 점진적으로 발전하기 때문에 잣대와 상관없이 시대 비교자체가 무의미 하긴하지만[7] 온라인 게임으로 비유하면 자신의 랭크가 떨어지는 것이 두려워 랭겜을 피하는 것과 비슷한 현상이다.[8] 단 이땐 2300점 이하여야 한다.[9] 졌을 때도 B의 Elo 하락은 A의 Elo 상승의 4배로 들어가나 극히 미미하다.[10] 2024년 3월전까지는 1000이였지만 3월후로 1400으로 바뀌었다[11] 승률 계산에는 무승부도 0.5점으로 계산되기 때문에, 실제로는 1만 판 해서 1승을 거둘지도 장담 못 한다.[12] 대회에서 우승하여 부상으로 타이틀을 주는 경로도 있기에 2500을 넘지 않는 선수가 GM 타이틀을 가진 경우도 일부 있다.[13] 참고로 프로 경기에서 팀들 간의 퍼포먼스를 비교할 때는 웬만해서는 사용되지 않는데, 이는 프로 게임단들의 로스터가 너무나도 자주, 그리고 급격하게 바뀌는 탓에 제대로 된 전력에 기반해 계산하기 어렵기 때문이다.[14] 헤비의 경우 중형보다 mm값이 20% 높지만 별로 의미는 없다.[15] 하지만 기본점수가 국가별로 다르며(잉글랜드 2000점, 웨일스 1500점), 구 아일랜드 축구 국가대표팀의 기록이 북아일랜드 축구 국가대표팀의 기록이 아닌 아일랜드 축구 국가대표팀의 기록으로 계승되는 등의 문제점이 있다. 또, 대체로 최약체인 FIFA 미가입국도 랭킹에 포함되어 있고, FIFA 미가입국은 서로 간의 공식경기만 갖게 되므로 랭킹이 뻥튀기되는 경우가 많다.[16] 문제는 이렇게 되면 패배가 임박한 게임을 끝까지 안하고 던지는 일이 허다해지게 된다.[17] 이흔히 말하는 배치고사를 생각하면 된다.[18] 반면, 레이팅은 게임의 결과에 따라서만 변화한다. 분산은 그 변동폭만 조절하는 역할이다.