/TOMÁŠ OPATRNÝ/
V minulých dílech jsem několikrát zmínil výhradu ministerstva k přílišné benevolenci mezinárodních evaluačních panelů (MEPů) u některých škol. Tyto zmínky můžeme najít ve zprávách z tzv. tripartit, (tedy jednání zástupců RVVI, „Odborných panelů” a poskytovatelů), které „škálovaly” jednotlivé vysoké školy na stupnici A až D. U většiny škol se tak dočteme verdikt ve znění (například) „Tripartita dospěla ke konsensu o přiřazení celkového hodnocení BVŠ.” Kromě toho ale v některých protokolech najdeme i zmínku „Poskytovatel navrhuje vyřadit XXX z aktuálního hodnotícího procesu” vedoucí k závěru „Tripartita dospěla ke konsensu, že XXX bude VYŘAZENA z hodnocení H24”.
Co to přesně znamená, že měl poskytovatel – tedy MŠMT – výhradu k benevolenci panelu? Jak ministerstvo k takovémuto závěru došlo a na základě jakých argumentů navrhlo diskvalifikovat nějakou školu, jejíž MEP navrhoval krásné hodnocení?
Třetina MEPů nadsazovala
Přesnou formulaci názoru ministerstva najdeme v dokumentu „Souhrnná zpráva pro výzkumnou organizaci – Agregace kompletního hodnocení v Modulech 1-5”. U několika škol se dočteme výhradu, jejíž příklad (konkrétní školu jsem tu anonymizoval jako XXX) vypadá takto:
„Analýza výsledků hodnocení VŠ provedená poskytovatelem s podporou stanoviska OPO 4 (EAC Statement on the 2025 Evaluation of Higher Education Institutions) poukazuje na možné systematické nadhodnocení v případě XXX. Ve všech hodnocených modulech byly pozorovány výrazné skoky v hodnocení. U většiny hodnocených jednotek došlo ke zlepšení od dva stupně hodnocení, stejně jako u modulu 4. V modulu 5 došlo ke zlepšení o jeden stupeň. Jednotlivé indikátory v modulech 3-5 byly hodnoceny téměř výhradně známkami 5 – Vynikající nebo 4 – Velmi dobrá. V roce 2020 byla XXX hodnocena jako C. Na národní úrovni je XXX konzistentně hodnocena jako C. Poskytovatel dochází k závěru, pozorované trendy systematického nadhodnocení snižují reliabilitu hodnocení MEP. Ve spojení s konzistentním hodnocením z národní úrovně nepovažuje poskytovatel zlepšení hodnocení z C na B za opodstatněné a doporučuje, aby pro účely tripartitních jednání bylo uvažováno o přiřazení celkového hodnocení C – Průměrná.”
Čteme tu příběh céčkové školy, která si dala velmi záležet na své sebeevaluační zprávě, a která dokázala velmi silně zapůsobit na svůj MEP. Ten ji pak královsky ohodnotil, v modulech 3 až 5 jí navrhl samá Áčka, což by ji v souhrnu s céčkovými výsledky v modulech 1 a 2 posunulo do kategorie B. Ministerstvu se to ale nelíbilo, řeklo, že je to nadhodnocené a usadilo ji zpět do C. Tripartita to pak odsouhlasila.
Příběh to není ojedinělý: ze 33 hodnocených škol pod MŠMT se silnější či slabší výhrada k benevolenci MEP objevuje v deseti případech, tedy přibližně v jedné třetině. Nabízí se pak otázka, proč k něčemu takovému došlo a zda ministerstvo odvedlo svou práci: mluvilo se přeci o tom, že se bude dbát na kalibraci a každý panel měl k ruce ministerského metodika. Pokud by se nějaká výraznější odchylka našla u jedné či dvou škol, ještě by se to dalo pochopit. Pokud se to ale neuhlídalo u deseti škol takže práce třetiny MEPů může jít na kompost, je tu něco na pováženou.
Zpráva expertních poradců: bylo to v souladu s metodikou, ale je to divné, přičemž nevíme proč
Kdo a jak vlastně na ministerstvu dospěl k závěru, že je něco „systematicky nadhodnocené”? V tipartitní zprávě používá MŠMT zaklínadlo „stanovisko OPO 4 (EAC Statement on the 2025 Evaluation of Higher Education Institutions)”. Zkratka OPO tu znamená „odborný poradní orgán” a zkratka EAC označuje totéž pod názvem „Expert Advisory Committee”. Jde o těleso složené z jedenácti mužů a dvou žen, mezi nimiž figurují především děkani, prorektoři a další funkcionáři z českých i zahraničních univerzit (jedna prorektorka a jedna ředitelka výzkumného centra: zmiňuji to zde zejména s ohledem na to, že dle Metodiky 2025+ pro VŠ „při sestavování a doplňování OPO se bude poskytovatel zasazovat o genderovou vyváženost s cílem dosáhnout alespoň 40% zastoupení žen, respektive mužů.”). Dle statutu tohoto orgánu bylo jeho úkolem sjednotit přístup MEPů a sice tak, že OPO byl zodpovědný za konzistentní aplikaci evaluačních kritérií napříč MEPy a oblastmi výzkumu a vývoje (FORDy) („responsible for the consistent application of the evaluation criteria across IEPs and the fields of research and development (defined by FORD)”). Výstupem tohoto tělesa je sedmistránková zpráva „Statement on the 2025 Evaluation of Higher Education Institutions”, ve které se dochází k pozoruhodným závěrům: jednak, že hodnocení proběhlo v souladu s metodikou. Dále, že systémové trendy jsou koherentní, ale několik vysokých škol se výrazně vychyluje („several HEIs deviate significantly”, pozn.: uvádějí celkem 11 škol z 33, tedy plnou třetinu). A nakonec, že neočekávané posuny v hodnocení oproti roku 2020 si vyžádají další sledování („future observation”). Jinými slovy – bylo to v souladu se vším, byť je třetina výsledků divných, přičemž nevíme proč.
Jak toto expertní těleso dospělo k názoru, že se někde něco vychyluje? Vlastní zpráva odborného orgánu se opírá o 26-stránkovou přílohu z dílny ministerstva nazvanou „Analysis of trends in HEI evaluation 2025”. Ta se zabývá v podstatě dvěma otázkami: jak korelují ohodnocení v M1 a M2 s těmi v M3-M5, a kde došlo k výraznější (tj. dvoubodové) změně v některém modulu mezi lety 2020 a 2025. Krom velmi stručných poznámek k většině jednotlivých škol je 14 stránek věnováno reportu soukromé Panevropské univerzity (PEUNI), která byla z hodnocení vyloučena (viz níže), a reportu nové soukromé škole AMBIS (vzniklé z bývalé Univerzity Jana Amose Komenského). Otázka korelací je v ministerské analýze zodpovězena grafem, který tu přetiskuji:
Zdroj: MŠMT, Statement on the 2025 Evaluation of Higher Education Institutions
Jednotlivým školám se napočítalo souhrnné skóre v modulech M1 a M2 a souhrnné skóre v M3-M5, do grafu se vynesly puntíky a proložily regresní přímkou. Ta svým sklonem vyjadřuje, že hodnocení v každoročních modulech (M1,2) mírně koreluje s hodnocením v těch pětiletých (M3-5). Ti nejlepší by měli být vpravo nahoře, nejhorší vlevo dole. Ti, kdo trčí nad regresní přímku, pak byli prohlášeni za podezřelé (podobně jako ti, kteří si za těch pět let povyskočili moc často o dvě známky nahoru).
Pohled pod kapotu
Co znamená souhrnné skóre v M1 a M2? Dle autora grafu jej dostaneme z každoročních tripartitních zpráv pro jednotlivé školy v období 2019 až 2023. Tam se řekne, že pohledem na rozložení známek vybraných výsledků v M1 a na histogramy bibliometrických kvantilů v M2 se škole v daném roce přisoudí známka A, B, C nebo D. Autor grafu nyní za každé D přiřadil jednu dvacetinu bodu, za C dvě, za B tři a za A čtyři. Pokud měla nějaká škola každoročně A, má za pět hodnocených let na vodorovné ose hodnotu 1, škola s každoročními B má 0,75, škola s každoročními C má 0,5 a škola s každoročními D má 0,25. Protože D je nejhorší známka, je v grafu na první pohled divné, že se tam dvě školy dostaly ještě níž. Jak je to možné? Jde o nové školy, takže jim v časové řadě 2019-2023 několik hodnocení chybí a algoritmus zvolený autorem grafu je tedy vyhodnotil jako horší než nejhorší. U většiny škol pak tripartity každoročně uzavíraly své reporty s tím, že oproti předchozímu roku nedošlo ke změně a nakopírovaly předešlou známku: to jsou ty shluky u hodnot 0,25, 0,5, 0,75 a 1. U těch zbývajících pak došlo k nějaké meziroční změně: nejčastěji v posledním H23 si některé polepšily. V řadě případů tu ale tripartita váhala, některé školy dostaly známku „mezi”, tedy např. „B-C”. Autor grafu píše, že v takovém případě použil tu lepší známku (proč? to už nevíme).
Započtení nehodnoceného roku nulovou bodovou hodnotou bez úpravy jmenovatele považuji za metodickou chybu: správně by měl výpočet průměrovat jen přes množinu hodnocených let, což by PEUNI, AAVŠ a ERUNI posunulo na vodorovné ose doprava. Podobná nekonzistence nastává i u dvou uměleckých škol AMU a UMPRUM: obě mají v tripartitních protokolech z ledna 2025 uvedené čtyři hodnocené roky, přičemž jde buď o AVŠ nebo A/BVŠ, což podle autora grafu mělo být interpretováno jako ta „lepší” varianta obě školy měly mít na vodorovné ose hodnotu 1.
U řady škol je krom toho nekorektně vypočtená hodnota na svislé ose: v případě, že bylo v modulu M3 některé kritérium nehodnocené (tedy hodnoceno jako N/A), opět se započítalo nulou, tedy horší známkou než je nejhorší jednička. U některých škol šlo o relativně malou změnu (například vzniklo nové pracoviště, které na rozdíl od všech ostatních nemělo co vyplnit v položce „implementace doporučení” z předchozího hodnocení), u tří nově hodnocených škol (AAVŠ, ERUNI a PEUNI) to však mělo výrazný dopad: pokud neměly jak odpovídat v položce „implementace doporučení” u žádné fakulty ani u školy jako celku, znamenalo to velmi výrazný posun.
Proložíme-li korigovanými body regresní přímku, má ještě menší sklon než ta původní a korelace mezi M1-M2 a M3-M5 je sotva znatelná.
Kdo trčí nahoru, je podezřelý (dolů to nevadí)
Výhrada k benevolenci MEPu se objevuje u AVU, MENDELU, OU, PEUNI, SLU, TUL, UTB, VETUNI, VŠTE a VUT. S výjimkou VŠTE jsou to všechny, které vyčnívají nad původní regresní přímku. V příloze zprávy ministerského Odborného poradního orgánu pak můžeme číst u jednotlivých škol velmi stručné poznámky, jak byly rozděleny jednotlivé známky MEPu a v kolika případech si škola polepšila oproti minulému hodnocení. „Vyčnívání” je pak popsáno například takto: „Initial regression analysis shown noticeable over-grading in case of University of Ostrava (OU). … In case of OU in M3-5 grades are distributed: 5 – outstanding 57%, 4 – very good in 37%; 3 – Average 7%, no lower ratings.” Konkrétní výhrady k jednotlivým známkám v jednotlivých kritérií se však u této (a naprosté většiny dalších) školy neuvádějí. Nadhodnotil snad MEP u některé ostravské fakulty kritérium projektů? Nebo byl u této školy neadekvátně mírný v otázce struktury lidských zdrojů a slušelo by se ji oznámkovat jinak? To nevíme, prostě naše „regresní analýza” říká, že ta škola nějak trčí.
Výchylky výrazně dolů pod regresní přímku ministerská analýza nijak nekomentuje. Že se například VŠE, MUP, AMU nebo UK nacházejí nápadně pod ní a mohlo by to indikovat nadstandardní přísnost MEPu? Toto se nikde nedočteme. Jediná zmínka o možné větší přísnosti MEPu se týká Jihočeské univerzity: „JČU show relatively good alignment between result in M1-2 and M3-5 with tendency to being underrated suggesting relatively strict IEP approach to assessment.” Tato univerzita se tam také zmiňuje jako etalon kvality, vůči kterému by se měly poměřovat školy srovnatelné s OU.
Detailnější rozbor pro diskvalifikovaného: střet zájmů a podivné výkaznictví
Detailnější rozbor zpráv MEPů se týká pouze PEUNI, soukromé vysoké školy s názvem Panevropská univerzita a dále AMBIS, tedy jiné soukromé vysoké školy, která ve zprávě ministerské komise slouží jako benchmark pro PEUNI. Dohromady je těmto dvěma školám věnováno 14 stran, tedy více než polovina analytické přílohy. Bod po bodu se tu konstatuje, jak zpráva MEP pro PEUNI dává vysoká hodnocení zatímco realita je někde úplně jinde, případně není nikde doložena evidence k silným tvrzením sebeevaluační zprávy. Největší výhrada se tu ale týká střetu zájmů a sebefinancujícího schématu: v indikátoru 3.3 „výzkumné projekty” si fakulty PEUNI vykazují většinu projektů od sponzora se vznešeným názvem „Grantová agentura Academia Aurea” (GAAA). Ten financoval většinu položek vykazovaných školou jako „smluvní výzkum” či „neveřejné zdroje”. Jak ale tvrdí ministerská analýza, toto těleso je řízeno zaměstnanci samotné PEUNI (jde o řadu členů její vědecké rady, včetně předsedy). Mimoto jeden člen MEPu hodnotícího PEUNI je zároveň členem rady GAAA, aniž by na to upozornil: toto svědčí o natolik silném střetu zájmů, že zprávu MEP nelze brát vážně.
Ministerstvo to v tripartitním protokolu shrnulo těmito slovy: „Poskytovatel konstatoval, že jde o nekritičtější případ v hodnocení na úrovni poskytovatele. Narazil nejen na nekonzistentnost hodnocení, ale i na porušení pravidel hodnocení. Došlo ke střetu zájmů v hodnotícím panelu, který na svoji podjatost neupozornil. Poskytovatel doporučil PEUNI zcela vyřadit z hodnocení z důvodu porušení podmínek hodnocení.” Tripartita se s tímto doporučením ztotožnila výrokem „Tripartita dospěla ke konsensu, že PEUNI bude VYŘAZENA z hodnocení H24.”
A ještě je tu někdo nehodnotitelný…
Kromě PEUNI je výsledné známky nedočkala ještě jedna škola, která se nechala proklepnout MEPem: soukromá Anglo-americká vysoká škola. Tu (na rozdíl od PEUNI) její MEP nijak nešetřil a v modulech M3-M5 vyšla jako nejhůře hodnocená škola. V tripartitním protokolu to ministerstvo komentuje , že škola vykazuje „výkon hluboko pod očekávání i ve srovnání s dalšími VŠ hodnocenými stupněm D. Alarmující je také skutečnost, že AAVŠ byla schopna ve své Sebeevaluační zprávě doložit za pětileté období pouze jeden výsledek výzkumu za své tři hodnocené jednotky a žádný výsledek v oblasti přenosu znalostí.” Byť tu MŠMT také navrhuje vyřadit z hodnocení, tripartita svůj verdikt nakonec formulovala trochu jinými slovy než u vyřazené PEUNI: „Tripartita dospěla ke konsensu, že AAVŠ bude NEHODNOCENA.”
Pár mých soukromých názorů na závěr
- Pokud ministerský orgán řekne, že vše proběhlo v souladu s Metodikou 25+ a zároveň zpochybní hodnocení třetiny MEPů, je tu něco špatně. Je špatně Metodika 25+, nebo si OPO neuvědomuje tento protimluv?
- Pokud dle Metodiky 25+ i podle statutu OPO jde o orgán zodpovědný za konzistentní aplikaci evaluačních kritérií napříč MEPy a tentýž orgán nás ve své zprávě informuje, že evaluační kritéria nebyla napříč MEPy konzistentně aplikována, jak jinak to číst, než že tento orgán nedostál své zodpovědnosti?
- Pokud už tedy byly zprávy některých MEPů příliš benevolentní (a můj osobní názor je, že opravdu byly), mělo by MŠMT či jeho OPO u každé školy konkrétně ukázat kde a proč. Ano, byla by to spousta piplavé práce. Ale mnohem více práce bylo takto zmařeno na straně škol, které investovaly obrovské úsilí a kapacity do sepisování svých sebeevaluačních zpráv a veškerého byrokratického cirkusu kolem hodnocení. Určitě by si zasloužily kvalitnější zpětnou vazbu než prostě (parafrázováno) „MEP vám nadržoval a na Áčko nemáte…”. Když už škola musela tím martyriem projít, slušelo by se, aby se pak mohla dočíst třeba „v tomto kritériu vám sice MEP dal 4 body, ale aby to odpovídalo realitě, musely by tu být vaše parametry alespoň takovéto…”.
- Jestliže už MŠMT nechá hodnotit výzkum škol i podle genderové vyváženosti jejich orgánů, mohlo by jít samo příkladem a svůj OPO si najmenovat v souladu s Metodikou 25+: dvě ženy ve třináctičlenném týmu má k deklarovaným čtyřiceti procentům ještě hodně daleko.
Příště: Srovnání hodnocení v modulu 5 a žebříček právnických fakult (sliboval jsem to sice již v minulém díle, ale tato část mi zabrala víc prostoru a času, než jsem původně předpokládal).