/TOMÁŠ OPATRNÝ/
Letos se uzavřelo další pětileté kolo hodnocení výzkumu na VŠ (jak to dopadlo, je popsané například zde) a je čas pustit se do reflexe. V červnu se k této otázce konala konference s velmi reprezentativním zastoupením – od vicepremiéra a předsedy RVVI Karla Havlíčka přes vrchní ředitelku sekce vysokých škol a výzkumu na MŠMT Danu Bilíkovou po zástupce panelů i zájemce z akademické sféry. Podle hlavních vystupujících je nyní třeba zahájit diskusi jak s hodnocením dále – co vylepšit či změnit. Pokusím se tedy přispět vlastními zkušenostmi a názory. Osobně jsem měl možnost zúčastnit se práce jednoho z MEPů (mezinárodní evaluační panel) jedné z našich univerzit – jak v roce 2020 tak i loni – a mohu tak vnímat posun, který tu nastal. Krom toho působím jako hodnotitel vybraných výsledků v Modulu 1 a v letech 2021 a 2022 jsem byl v roli prorektora zodpovědného za hodnocení výzkumu na UP. Toto je první ze série textů, které chci tomuto tématu věnovat.
O svých zkušenostech s prací MEP v roce 2020 jsem napsal zde. Jako hlavní neduh tam zmiňuji nemožnost kalibrace známkování – s čím to srovnat, máme-li fakultě či škole v nějakém kritériu dát 5, 4, 3 nebo ještě méně bodů? Tehdy se ukázalo, že náš panel nasadil podstatně přísnější kritéria než ostatní a školu pak museli „překalibrovat” k lepšímu hodnocení. Nyní se náš MEP (v částečně obměněném složení) snažil tento poznatek reflektovat, nicméně otázky jako „dosahuje to úrovně 5 – outstanding, internationally competitive?” nebo „je to spíš 4 – very good – up to nationally competitive level?” zůstávaly bez jasné odpovědi. Nebylo ani dost dobře možné podívat se, jak podobné situace hodnotily jiné panely na jiných školách, abychom se mohli pokusit o co nejférovější známky. Nyní, když už je vše uzavřeno, by ale měla být možnost zkusit si jednotlivá hodnocení porovnat. Řada dokumentů je sice veřejně dostupná na více či méně viditelných místech, ne však vše: na stránkách RVVI lze najít hodnocení v modulech 1 a 2 a protokoly z projednání „tripartit” (společné zasedání zástupců RVVI, odborných panelů MŠMT) a na stránkách MŠMT krom toho i sebeevaluační zprávy jednotlivých škol pro hodnocení v modulech 3 až 5. Nikde se mi však nepodařilo dohledat vlastní zprávy MEPů. Požádal jsem tedy o ně ministerstvo podle stošestky a poté, co jsem je před pár dny dostal, jsou k dispozici zde.
Porovnání zpráv MEPů by nyní mohlo posloužit školám při přípravě na příští hodnocení: co měly ty lépe hodnocené školy či fakulty kvalitnějšího, co přimělo panelisty k udělení lepších známek? Zároveň by mohlo být užitečné i příštím MEPům: od čeho se odrazit, máme-li hodnotit pracoviště v daném indikátoru jako „průměrné” či již jako „velmi dobré” případně „vynikající”?
Žebříček lékařských fakult
Jako první ochutnávku si můžeme vzít srovnání našich lékařských fakult. Je to jednoduché, protože jich je relativně málo – celkem osm na čtyřech různých univerzitách. Kromě bodů udělených v modulu 3 (společenská relevance) si je můžeme „ožebříčkovat” i podle průměrných známek v modulu 1 (peer-review hodnocení vybraných výsledků) a podívat se na případné korelace. Výsledná tabulka vypadá takto:
| Fakulta | průměrné body M3 | hodnocení M3 | průměrná známka M1 | průměrná známka M1, společenská relevance |
| LF OU | 5,00 | A | 2,46 | 2,77 |
| LF MUNI | 4,67 | A | 2,19 | 2,69 |
| LF UPOL | 4,67 | A | 2,48 | 2,87 |
| 1. LF UK | 3,83 | B | 1,98 | 2,21 |
| 3. LF UK | 3,83 | B | 2,30 | 2,57 |
| 2. LF UK | 3,67 | B | 1,73 | 2,00 |
| LF UK Hradec Králové | 3,33 nebo 3,50 | B | 2,57 | NA |
| LF UK Plzeň | 3,33 | C | 2,41 | NA |
Pro čtení tabulky je potřeba připomenout, že známkování v modulech 1 a 3 jde poněkud nelogicky opačným směrem: v M1 je nejlepší známka 1 a nejhorší 5 kdežto v modulech M3 až M5 je to právě naopak.
V modulu 3 je mezi lékařskými fakultami absolutním vítězem LF Ostravské univerzity: ve všech šesti bodovaných kritériích (uznání ve vědecké komunitě, výzkumné projekty, výzkumné výsledky s dopadem na společnost, přenos výsledků do praxe, popularizace výzkumu, i v kritériu „implementace doporučení” z předchozího hodnocení) získala maximální bodovou hodnotu. Za ní se ztrátou jednoho bodu ve dvou z těchto kritérií skončily LF Masarykovy univerzity a LF Univerzity Palackého: LF MU chyběl k plnému počtu bod v transferu výsledků do praxe (MEP sice chválí několik spin-offů, ale vidí rezervy v komercionalizaci) a v implementaci předchozích doporučení (MEP stále vidí rezervy v komercionalizaci, interdisciplinaritě a v mezinárodním přesahu). Na LF UP nebyla v očích MEP zcela naplněna kritéria „uznání vědeckou komunitou” (excelence jen v některých výzkumných směrech, kdežto rezervy v jiných jsou rezervy) a v popularizaci (popularizační aktivity jsou prý spíš jen regionálního charakteru). Žebříček dále klesá až ke dvěma mimopražským lékařským fakultám UK. U té hradecké je v reportu nekonzistence: v textu zprávy se u kritéria „uznání vědeckou komunitou” objevuje trojka, ale v souhrnné tabulce čtyřka. Ta se pak zřejmě použila pro výpočet výsledné známky – jinak by hradecká fakulta skončila stejně jako plzeňská s Céčkem.
Lékařské fakulty v M1 vs M3
Zajímavé je ale srovnání s žebříčkem podle kvality vybraných výsledků (modul 1), tam se pořadí dosti výrazně změní. Absolutním vítězem je „Béčková” 2. LF UK s průměrnou známkou 1,73 (počítáno za pětileté období od hodnocení 2020 po poslední hodnocení 2024) následovaná další „Béčkovou” 1. LF UK s průměrem 1,98. Vezmeme-li průměrnou známku přes všechny lékařské fakulty, dostaneme 2,21. To znamená, že dvě „Áčkové” fakulty LF OU (2,46) a LF UPOL (2,48) se ocitají v podprůměrné zóně. Hodnocení fakult podle modulů 1 a 3 tu tedy nekoreluje.
Dalo by se namítnout, že oba moduly měří něco zcela jiného a korelaci nelze čekat. V modulu 1 si ale školy přihlašují své vybrané výsledky s tím, že si mohou zvolit, podle kterého ze dvou kritérií mají být hodnoceny: buď podle „přínosu k poznání” nebo podle „společenské relevance”. Pokud tedy zúžíme množinu vybraných výsledků na ty hodnocené podle „společenské relevance”, mohli bychom očekávat, že pořadí fakult tu bude odpovídat i pořadí dle modulu 3 hodnotícím právě společenskou relevanci. Ani tato hypotéza se ale nepotvrzuje: nejlepší průměr má opět 2. LF UK (byť v této kategorii přihlásila pouhé dva výsledky) následovaná opět 1. LF UK. Absolutní vítěz modulu 3, tedy LF OU má i v tomto případě podprůměrnou známku (průměrná známka přes všechny lékařské fakulty je tu 2,63).
Nejspíše se tedy potvrzuje domněnka, že kalibrovat jednotlivé MEPy napříč univerzitami se nedaří. Někde byly přísnější (zřejmě u UK), jinde velmi benevolentní. V případě Ostravské univerzity k tomuto závěru dospělo i MŠMT – v protokolu z tripartity k tomu píše „Poskytovatel dochází k závěru, že indikace systematického nadhodnocení a nestandardního využití hodnotící škály snižují reliabilitu hodnocení MEP.” Byť MEP navrhoval zařadit OU mezi Áčkové univerzity, ministerstvo i RVVI této univerzitě nakonec přisoudily B.
Je to fér?
Nepovažuji za šťastné ex post prohlašovat, že některý panel systematicky nadhodnocoval. Když už MŠMT nešlo cestou jednotných panelů pro jednotlivé obory napříč školami, mělo si dát víc záležet na úvodním proškolení panelistů a na snaze o jednotnou kalibraci. Školení sice proběhla, ale byla to spíše seznámení zahraničních hodnotitelů s nepřehledným českým systémem provázená technickými patáliemi při online komunikaci. Řada novopečených panelistů to protrpěla, aniž se dozvěděla to podstatné: jak správně hodnotit? Kromě toho měl každý MEP z ministerstva přiděleného „metodologa”: ten členy panelu provázel při všech jednáních a byl k dispozici, když panelisté licitovali o známkách. Pokud by tento zástupce MŠMT dospěl k názoru, že je MEP příliš měkký ve svých kritériích, mohl na to jeho členy už na začátku upozornit a ukázat jim třeba příklady z minulého hodnocení pro srovnání. Takto může u podobně postižených škol zůstat nepříjemná pachuť: strávily dost času pečlivou přípravou na hodnocení, dostaly vesměs pochvalné posudky, ale zásahem shora jim byl vzestup zaražen. Co tedy mají příště udělat lépe?
Příště: gender, udržitelnost a srovnání ekonomických fakult.