Porovnateľnosť zadávateľov verejných zákaziek

Autori zIndexu sú si plne vedomí jeho obmedzenou výpovednou schopnosťou. Ani s najlepším štatistickým indikátorom sa nedajú navzájom porovnávať obec s 300 obyvateľmi a Ministerstvo vnútra. Preto je nevyhnuté mať pri každom použití zIndexu na pamäti nasledujúce:

S pomocou zIndexu sa dajú porovnávať iba zadávatelia s podobnou štruktúrou a veľkosťou rozpočtu.

Dajú sa teda medzi sebou porovnávať kraje, podobne veľké mestá či úrady. Porovnanie naprieč týmito kategóriami je však zavádzajúce a nie je zmyslom indexu. Toto významné obmedzenie jeho použiteľnosti je nutné na to, aby bolo zIndex vôbec možné vypočítať, a preventívne tak reaguje na časť kritiky indexu alebo jeho jednotlivých komponentov.

Ešte väčšie problémy s porovnateľnosťou vznikajú pri výpočte takých komponentov indexu, ktoré sa zaoberajú jednotlivými zákazkami. Napríklad počet ponúk pri obstarávaní služieb mobilných operátorov nemôže ani pri najlepšej vôli konkurovať počtom ponúk pre dodávku kancelárskeho nábytku.

Obdobné argumenty úspešne spochybňujú zmysel viacerých komponentov na úrovni jednotlivých zákaziek. Pri agregácii takých komponentov do celkového indexu hodnotiaceho zadávateľa sa však problém do veľkej miery stráca. Keď predpokladáme podobnú štruktúru rozpočtu myslíme tým predovšetkým, že zadávatelia dopytujú tovary a služby v približne rovnakých proporciách na rovnakých trhoch. Ak je tomu tak, potom na takých trhoch získajú všetci podobné hodnotenia a bude to potom relatívna úspešnosť každého obstarávateľa (v postupe v zhode s dobrou praxou) na každom z týchto trhov, ktorá určí jeho celkovú úspešnosť.

Príklad: Z dlhodobého pohľadu dve rovnako veľké mestá typicky obstarávajú podobné objemy mobilných služieb, kancelárskeho nábytku, informačných technológií atď. Takáto mestá sú s pomocou zIndexu dobre porovnateľné. S narastajúcimi rozdielmi vo veľkosti a štruktúre výdavkov výpovedná schopnosť indexu klesá.

Využitie indexu pre širšie porovnávanie, než pre aké je konštruovaný je v zásade možné - akýmkoľvek záverom už však musí byť prisudzovaná podstatne menšia váha. Inštitúcie, ktoré sa líšia veľkosťou alebo štruktúrou výdavkov môžu (ale nemusia) mať iné možnosti postupovať podľa dobrej praxe, a byť tak lepšie hodnotené. Pri porovnávaní takýchto inštitúcií je preto lepšie postupovať podľa ďalšieho bodu.

Existuje veľa inštitúcií, ktoré sú svojou povahou jedinečné (Národná banka Slovenska, Najvyšší kontrolný úrad), a môžu sa štruktúrou svojich výdavkov významne líšiť od všetkých ostatných inštitúcií. Potom je odchýlka v indexe od inštitúcií s porovnateľným rozpočtom úplne prípustná. Aj v takom prípade je však legitímne pýtať sa, aké sú dôvody odchýlky, z akého dôvodu sa výdavky danej inštitúcie javia menej transparentné a prečo daná inštitúcia nemôže postupovať podľa dobrej praxe porovnateľne s ostatnými.