【テクニカル】イロレーティング計算精度とK値の関係

イロレーティング計算は、その特性上、過去のある時点までで計算したレーティングをもとに、その時点の直後の試合で「答え合わせ」が可能です。その試合はすでに行われているため、イロレーティングを使った予想と、実際の試合結果を比べることができるためです。この特性を使って、イロレーティングの計算精度を、時点を少しずつ変えることで、連続的に調べることができます。

また、イロレーティング計算においては、K値を32（新規プレイヤーでは128）と定義しました。このK値はWikiによれば16または32が推奨されており、対象となるモデルにより最適な値が変わるそうです。K値を変えて計算精度を確認することで、最適なK値が判明します。

K値を変えながら、3年分の有効全試合に渡って計算精度を調べた結果が、こちらです。

K値	16	32	64	128
K値（新規プレイヤー）	64	128	256	512
〜1000試合	65%	66%	66%	66%
1001〜2000試合	68%	69%	69%	68%
2001〜3000試合	69%	69%	72%	72%
3001〜4000試合	70%	71%	74%	73%
4001〜5000試合	68%	70%	72%	71%
5001〜6000試合	71%	72%	74%	73%
6001〜7000試合	75%	76%	76%	76%
7001〜8000試合	71%	71%	72%	73%
8001〜9000試合	71%	74%	76%	76%
9001〜10000試合	72%	74%	76%	74%
10001〜11000試合	74%	74%	77%	75%
11001〜12000試合	71%	73%	73%	73%
12001〜13000試合	75%	78%	79%	78%
13001〜14000試合	79%	80%	81%	80%

なお、新規プレイヤーのK値は一律4倍としていますが、この値を変えても結果への影響はわずかでした。また、試合数が増える方が精度がよくなる傾向がありますが、これはイロレーティングが実力相応の値に収束するまでに、それなりの試合数が必要であるからです。

これだけ見ると、K値 = 64において、わずかながら最も計算精度が高いことがわかります。一方、このブログでの試合結果予測は、通常、ワールドツアーの本戦のみで行っており、対象試合をそこに絞った結果が重要です。

その結果がこちらです。イロレーティングの更新は全試合を対象にしつつ、結果評価のみワールドツアー本戦に絞ってみました。

K値	16	32	64	128
K値（新規プレイヤー）	64	128	256	512
〜100試合	65%	66%	71%	71%
101〜200試合	58%	63%	64%	67%
201〜300試合	71%	72%	71%	68%
301〜400試合	65%	67%	70%	69%
401〜500試合	72%	71%	72%	69%
501〜600試合	71%	71%	71%	72%
601〜700試合	77%	78%	76%	76%
701〜800試合	72%	76%	76%	75%
801〜900試合	72%	77%	80%	82%
901〜1000試合	75%	77%	73%	72%
1001〜1100試合	78%	78%	80%	80%
1101〜1200試合	73%	73%	75%	73%

これを見ると、K値=32と=64の精度が、K=64がほんのわずかに優位ではありますが、ほぼ同レベルであることがわかります。K値はWikiによれば16または32が推奨されているため、無理して大きいK値をとるのではなく、K=32というこれまでの方針を維持することにします。

なお、その時の予想精度は概ね70〜80%であることがわかりました。ブログタイトルでは85%を誇っていますが、一時的な値だったようです。この値は重要で、今後、AIを活用した新たな予想モデルを作成する時の、モデルの良否を判定する基準になります。