Door wedstrijdresultaten te vergelijken met de verwachtingen op basis van teamsterkte, kunnen we zien welke coaches echt het verschil maakten, welke juist tegenvielen, en of hun prestaties vooral op toeval berusten of niet.
Om de beste Avondje NAC-coach van de afgelopen 50 jaar te bepalen, gebruik ik informatie van www.clubelo.com. Deze site bevat historische wedstrijduitslagen van alle Europese competities terug tot midden jaren 50. Met behulp van deze data is een voorspelmodel gemaakt dat de uitslag van iedere wedstrijd voorspelt middels een Elo-ranking (ook wel bekend uit het schaken).
Deze wedstrijdvoorspellingen bevatten de winst-, verlies- of gelijkspelkans voor iedere wedstrijd, gebaseerd op de rating van beide teams op het moment van spelen en een thuisvoordeelfactor die per competitie per seizoen wordt bepaald. Daarnaast voorspelt het model ook het gemiddelde aantal te verwachten doelpunten voor en tegen per wedstrijd, op basis van de teamrating op dat moment.
Uiteindelijk beoordelen we de prestaties van iedere coach door te kijken naar het verschil in gescoorde en tegendoelpunten ten opzichte van de voorspelde aantallen op basis van teamsterkte, we noemen dit de Doelsaldo Prestatie (DSP). Wanneer NAC per saldo meer doelpunten scoorde dan verwacht én minder tegendoelpunten kreeg dan verwacht, dan is de staaf in de onderstaande grafieken geel. Wanneer er onder verwachting werd gepresteerd, is de staaf rood.
Ter verduidelijking: op 12 november 1977 speelde NAC tegen FC Amsterdam. NAC had een teamsterkte (Elo) van 1634 (inclusief 123 thuisvoordeelpunten), FC Amsterdam van 1466. Deze rating resulteerde in 1.76 verwachte NAC doelpunten en 0.85 verwachte doelpunten tegen. Deze voorspelling bevat alleen informatie van voor 12 november 1977. Het uiteindelijke wedstrijdresultaat was 3 – 2. NAC scoorde daarmee 1.24 doelpunten meer dan verwacht, maar kreeg ook 1.15 doelpunten meer tegen dan verwacht. Per saldo komt dit neer op een resultaat van +0.09 DSP.
Omdat de meeste coaches maar tussen de 10 en 20 Avondje NAC-wedstrijden hebben gecoacht, vergelijken we hun prestaties met die van andere coaches in vergelijkbare situaties (zelfde stadion, zelfde dag-categorie) middels een statistische toets. Zo kunnen we beter inschatten of een coach echt beter of slechter presteerde, of dat het vooral toeval was. We geven de kans op toeval visueel weer: meer gevulde vakjes () betekenen minder kans op toeval en een daadwerkelijk verschil in prestaties, terwijl één gevuld vakje () wijst op een prestatie die alleen door toeval verklaard kan worden.
