Crackpot statistika Jeho Magnificence

23. 10. 2008 Autor: Rubrika: Názory 1 komentář

Jak si ceníme vysokoškolského titulu? Jak kterého. Hlavně ale máme za to, že tituly by měly být závazkem ke korektnímu zacházení s údaji.

V nedávno zveřejněné poslední aktualizaci tohoto žebříčku se Univerzita Karlova umístila na 252. místě. Nejen že ji to řadí mezi 1,5 procenta nejlepších světových univerzit a také do nejlepší evropské stovky, ale pozoruhodné je i nemalé zlepšení oproti loňskému roku, kdy skončila na 297. místě.

Není to pravda. Jak se každý může snadno přesvědčit, je v ARWU Univerzita Karlova v roce 2007 vedena 203-304. místě a v roce 2008 je vedena na 201-302 místě.

Čtěte také související článek: Univerzita si polepšila v celosvětových žebříčcích

Navzdory tvrzení Jeho Magnificence jsou totiž ve zveřejněných ARWU žebříčcích univerzity ve druhé stovce abecedně seskupeny po padesáti a ve třetí až páté po stu. To má dobrý důvod. Čínští výzkumníci jej uvádějí ve zprávě o metodice (pdf):

„Distribuci celkového skóre ukazuje obr. 1. Celkové skóre s pořadím rychle klesá pro první stovku institucí a zvláště pro prvních padesát. Změna celkového skóre je relativně malá v rozmezí 100-500. Proto jsou výsledky srovnání publikovány ve skupinách po padesáti institucích v rozmezí 100-200 a po sto institucích v rozmezí 200-500.“

Jak tedy bylo tvrzení o 252. místě v publikovaném žebříčku přikuchtěno? Můžeme se jen dohadovat, ale nejspíše tak, že si někdo z ARWU stáhl data v XLS tabulce. Ta počínaje stým místem sice neobsahují celkové skóre, je ale možné pokusit se je dopočítat z dílčích indikátorů pomocí koeficientů uvedených v popisu metodiky. Pokud instituce setřídíme dle vzniklého čísla, bude UK opravdu na 252. místě. Nyní už stačí jen tvrdit, že to takhle v Šanghaji publikovali.

Je dobrým zvykem v prváku studenty při laborkách nebo v nějakém úvodu do kvantitativních metod poučit, že pokusí-li se vyvozovat dalekosáhlé závěry ze záchvěvů motýlích křídel měřených pravítkem, bude s nimi nevlídně naloženo. S přesunem od výzkumnictví k činovnictví se zjevně taková základní poučení ztrácejí z paměti či zřetele.

O neschopnosti různých žebříčků nějak smysluplně porovnávat instituce jejichž výstup je v porovnání se špičkou v podstatě zanedbatelný dobře vypovídá i další „nejprestižnější srovnání“ – britský THES. V tom UK – aniž se cokoli výrazně změnilo – pro změnu spadla z 246. místa v roce 2006 na 290. v roce 2007. (THES 2008 na dvousté a horších pozicích bude publikován dneska.)

Když už by z účinkování v ARWU žebříčku měl být udělán pro UK nějaký závěr, je jím znepokojivé složení celkového skóre. Zatímco v položce Awards je nula a u Alumni se postupně amortizuje polovina jednačtyřicet let mrtvého Heyrovského, v publikačních indikátorech NaS a PUB dosahuje UK hodnocení, kterým směle předstihuje i některé prestižní univerzity z první stovky – třeba Carnegie-Mellon. Potíž je v tom, že v kolonce vysoce citovaných výzkumníků se již druhým rokem skví čistá nula.

Skoro to vypadá, že potěmkinovský publikační stroj jede na plné obrátky, ale chrlí výsledky, které sice neurazí, ale až na kamarády je nikdo necituje.

Článek byl se souhlasem autora převzat z http://vucako.bloguje.cz



Napište komentář

Pište prosím slušně a k tématu článku! Odesláním komentáře souhlasíte s těmito pravidly diskuse, nevhodné příspěvky budou odstraněny. Pokud se Váš komentář neobjeví hned, neodesílejte jej znovu, z důvodu cachování se může Váš komentář objevit až s menší prodlevou po odeslání.