Metodika
Jak hodnocení funguje.
Vše, co stojí za čísly na rhythmees — ELO, zaujatost porotců, předpovědi — v lidské řeči. Žádná černá skříňka.
Odkud data pocházejí
Každé číslo na tomto webu pochází z veřejného API ČSTS (csts.cz/api) — stejný zdroj dat, který Český svaz tanečního sportu zveřejňuje pro veřejnost. Nesbíráme nic, co by už nebylo na výsledkových stránkách ČSTS. Data si lokálně ukládáme a každých pár dní agregujeme znovu.
Tři hlavní vstupy:
- Pair records. Jeden řádek na (pár, soutěž). Nese kompletní známky po kolech, tancích a porotcích.
- Konečné pořadí. Oficiální umístění každého páru v soutěži.
- Porotci. Složení poroty každé akce.
ELO — jedno hodnocení na pár a disciplínu
Používáme aktualizaci Glicko-2 (rafinovanější varianta klasického ELO), která sleduje jedno hodnocení per (pár, disciplína). Latina a Standard každého páru se sledují samostatně, protože odrážejí jiné dovednosti; soutěže Ranking i Liga se ale slévají do téhož disciplinárního hodnocení, protože testují stejnou dovednost.
Proč na pár a ne na tanečníka. Tanec je týmový sport — výkon je společný výstup. Modelování na úrovni páru odpovídá tomu, jak soutěže výkon skutečně hodnotí. Hodnocení tanečníka v jeho profilu je jen hodnocení jeho nejaktuálnějšího páru v dané disciplíně.
Počáteční hodnocení. Když se pár v disciplíně objeví poprvé, hodnocení se odvozuje z jeho třídy plus věkové korekce — nikoli z plochého 1500:
Seed podle třídy (dospělý baseline)
Pár Junioři II třídy E startuje na 875 (1000 − 125). Dospělý pár třídy M startuje na 1750. Glicko se od tohoto bodu přizpůsobuje s každou další soutěží — seed má váhu jen do několika prvních startů.
Po každé soutěži. Glicko-2 aktualizuje hodnocení každého zúčastněného páru podle (a) očekávaného umístění proti zbytku pole a (b) skutečného umístění. Pár s nízkým hodnocením, který porazí silné pole, hodně získá; silné páry, které ho ztratily, ztrácí odpovídající kus. Velikost závisí na rating-deviation (RD) — naší jistotě v aktuální hodnotě. Nové páry mají vysoké RD a hýbou se rychle, zaběhnuté páry pomaleji.
Žádný reset při postupu třídou. Když pár přechází z třídy B do třídy A, jeho hodnocení se neresetuje — pokračuje dál. Třídy jsou jen prior při prvním startu; pak je hodnocení čistě výkonové.
Zaujatost porotců — favorité a nefavorité oproti zbytku poroty
Pro každou trojici (porotce, pár, disciplína) ukládáme dvě hodnoty z panelu známek:
- X marky — porotce postoupil tento pár do dalšího kola.
- Tanec-sloty — celkový počet (kolo × tanec) příležitostí, kdy porotce tento pár viděl.
Z toho se počítá míra X-marek pro (porotce, pár, disciplínu) a srovnává s celkovou mírou X-marek tohoto porotce ve stejné disciplíně. Porotce, který dává X-marku 62% párů, ale konkrétně tomuto páru ji dává 85%, projevuje měřitelnou náklonnost. Opačně — nízká individuální míra proti vyššímu průměru — je nepřízeň.
Kalibrace. Průměrná míra každého porotce se počítá zvlášť pro každou disciplínu, aby porotce, který je v Latině štědřejší než ve Standardu, nepůsobil tak, že favorizuje všechny v Latině. Zaujatost je reziduum po odečtení tohoto průměru per (porotce, disciplína).
Proč na tom záleží. Pro předpověď pořadí budoucí soutěže se díváme, kteří porotci jsou v porotě a které páry historicky na konkrétně těchto porotcích nad- nebo pod-podávaly. Zaujatost se tak stává aditivním ELO-ekvivalentem nad základní ELO páru, sečteným přes celý panel.
Velikost — buďme upřímní. Pro většinu párů je součet panelové zaujatosti malý (nízké stovky ELO bodů kterýmkoliv směrem) a pořadí pole jen jemně dolaďuje. Pro páry se silně zaznamenanými preferencemi napříč mnoha porotci konkrétního panelu může být součet větší a posunout je v projekci o několik pozic. Predikční stránka ukazuje příspěvek zaujatosti od každého porotce zvlášť, takže přesně vidíte, kdo způsobuje jaký posun, a přepínač „neutrální“ vypne všechnu zaujatost. Používejte oba pohledy — pravda pole je obvykle někde mezi.
Velikost vzorku. Ne všechny signály zaujatosti bereme stejně. Porotce, který pár viděl 15 nebo méně kol, vůbec do bias nepočítá — to ještě není dostatek důkazů. Mezi 16 a 50 koly je signál omezen na malý vliv (maximálně ±25 ELO bez ohledu na to, jak extrémní je syrová sazba). Nad 50 kol signál plynule narůstá a kolem 100 kol dosahuje většiny své váhy. Tabulka „značky porotců podle partnera“ na dashboardu ukazuje syrové počty slotů, takže přesně vidíte, kolik důkazů stojí za každou buňkou (porotce, pár).
Předpovědi
Pro nadcházející soutěž se známou porotou a registrovaným polem promítáme pořadí kombinací základního ELO každého registrovaného páru a posunu plynoucího ze zaujatosti porotců na tomto panelu. Výstup je seznam párů seřazený podle součtu jejich skóre, s explicitním rozpisem, kolik z předpovědi je základní ELO a kolik panelová zaujatost.
Neutrální pohled. Na predikční stránce můžete panelovou zaujatost vypnout. „Neutrální“ pohled ukazuje, co by model předpověděl na dokonale průměrné porotě — jen pořadí podle základního ELO — což je užitečné pro pochopení, kolik z dané předpovědi závisí na tom, kdo konkrétně bude soudit.
Upřímná omezení
- Model čerpá pouze z dat, která ČSTS zveřejňuje. Mezinárodní soutěže, kterých se český pár účastní v zahraničí, se zde do hodnocení nepromítají.
- Model předpokládá, že identita páru je stabilní. Když dva tanečníci vytvoří nový pár, jejich společné hodnocení startuje od nuly, i kdyby oba měli zaběhnutou historii s jinými partnery.
- Zaujatost se měří striktně z panelu známek. Tendence, které v známkách stopu nezanechají (např. zákulisní politika, srážky nebo prvky výkonu, které porotce vnímal, ale neproznačil odlišně), jsou pro nás neviditelné.
- Glicko-2 v rámci aktualizačního okna předpokládá stacionární rozdělení dovedností. Rychlé zlepšení (junior, který za pár měsíců přeskočí třídu) se dotahuje pomalu — zveřejněné hodnocení v takovém případě realitu zpožďuje o pár soutěží.