/TOMÁŠ OPATRNÝ/
V této sérii textů se zabývám nedávno proběhlým celostátním hodnocením výzkumu na našich vysokých školách. Minule jsem se zaměřil hlavně na otázku kalibrace přísnosti MEPů (mezinárodních evaluačních panelů) v modulu 3 („společenská relevance”) a ilustroval ji na srovnání hodnocení osmi lékařských fakult ze čtyř univerzit. Tento díl bude věnovaný dvěma indikátorům z modulu 4 („viabilita”) a porovnání ekonomických fakult.
Podle Metodiky 2025+ se má modul 4 – Viabilita – zaměřit na výzkumné prostředí a posuzovat kvalitu řízení vysoké školy jako celku. Známkuje se v něm celkem 14 indikátorů – od organizace řízení přes systémy kvality, kariérní pravidla až po „implementaci doporučení” z předchozího hodnocení. Celý modul 4 má v celkovém hodnocení relativně nízkou váhu: 10 %, takže dominantní moduly 1 a 2 (společně 50 %) nepřeváží. Podle toho mu různé školy (a také různé MEPy) věnovaly různou míru pozornosti. Pro ilustraci se tu budu věnovat indikátorům 4.7 „Opatření týkající se genderové rovnosti” a 4.4 „Udržitelnost a odolnost VaVaI”.
Gender
Od úmrtí kafemlejnku se už nesoutěží jen v tom, kolik toho kde napublikovali, ale i v řadě dalších disciplin. V kritériu 4.7 se má například posuzovat, jak má škola nastavený systém genderové rovnosti v procesu náboru i karierního růstu, jak na škole funguje obsazování vedoucích pozic či jmenování do odborných orgánů, jak to vypadá s hodnocením a odměňováním, nebo s opatřeními ke slaďování rodinného a pracovního života výzkumných pracovníků.
Podobný indikátor se hodnotil již v předchozím cyklu před pěti lety a tehdy to byl šok jak pro MEP, jehož jsem byl členem, tak i pro hodnocenou univerzitu. Vzpomínám, jak tehdy na online jednání probíhala diskuse mezi MEP a správní radou univerzity. Členka MEP – emeritní rektorka jedné prestižní evropské univerzity – se zeptala: „vidím, že správní rada je složena jen ze samých mužů, to v ní opravdu nemáte žádné členky?” Chlapi na druhé straně virtuálního stolu (většinou ředitelé různých místních podniků či politici z regionu) po sobě začali rozpačitě pokukovat, až kteréhosi nenapadlo nic chytřejšího než zavtipkovat: „no, momentálně nemáme, ale v minulém období tu byla sekretářka žena… cheche”. Po odpojení univerzity bylo v online diskusi členů MEP mrazivo. „You could be fired for remarks like this” zasyčela emeritní rektorka a blesky jí šlehaly z očí. Nebyla to zdaleka jediná výhrada a MEP tehdy dal za kritérium „Gender equality measures” univerzitě nejnižší možné skóre, tedy 1 bod. Nedělám si iluze, že by na tom tehdy byla většina našich univerzit výrazně lépe, ale jak už jsem psal minule, náš MEP byl jedním z vůbec nejpřísnějších a jako benchmark si stavěl nejlepší evropské univerzity.
Jak si stály naše univerzity v tomto kritériu nyní? Ze 33 škol, jejichž evaluační zprávy jsem z MŠMT dostal, to vypadá takto:
| Známka v kritériu 4.7 | počet | podíl | školy |
| 5 – Outstanding | 8 | 24,2 % | AMBIS, ČVUT, ERUNI, MENDELU, OU, UPCE, UTB, VETUNI |
| 4 – Very good | 12 | 36,4 % | ČZU, JU, MUP, PEUNI, SLU, UHK, UPOL, VŠB-TUO, VŠE, VŠPJ, VUT, ZČU |
| 3 – Average | 12 | 36,4 % | AAVŠ, AMU, AVU, JAMU, MUNI, ŠAVŠ, TUL, UJEP, UMPRUM, VŠCHT, VŠFS, VŠTE |
| 2 – Below average | 1 | 3,0 % | UK |
| 1 – Inadequate | 0 | 0 |
Jak je vidět, dle názoru evaluačních panelů jsme na tom z genderového hlediska skvěle: téměř dvě třetiny škol jsou nadprůměrné, přibližně jedna třetina je průměrná a pouze jedna jediná vyšla jako podprůměrná. Poněkud to kontrastuje s mou zkušeností z MEPu: neustále jsme slyšeli, že s tím mají problém všude – málo žen na seniorních pozicích, velice malý podíl žen-profesorek ku mužům-profesorům, velmi málo možností pro udržení kompetitivní akademické kariéry při současné výchově vlastních dětí. Že se velmi snaží, ale je to prý běh na dlouhou trať…
Co přesně oceňovaly MEPy u vítězů a co kritizovaly u poražených? Kontrasty jsou tu těžko pochopitelné. U „vynikajícího” ČVUT vyzdvihuje MEP výrazný pokrok v této oblasti díky aktualizovanému Plánu rovných příležitostí, nebo udělenému ocenění „HR Excellence in Research”. Zmiňuje sice určité výhrady, jako že žen-profesorek je méně než 10 %, že z osmi děkanů jsou všichni muži, že tu přetrvává silná vertikální segregace – ale asi to panelu nevadí, hlavně, když jsou papíry v pořádku a nějaká snaha je vidět. Na Karlovu univerzitu, která tu skončila jako looser, platil jiný metr. Má sice také Plán rovných příležitostí a také má „HR Excellence in Research”, krom toho si nechala udělat genderový audit, má ombudsmanku, MEP ji chválí i za mentoringový program pro ženy ve vědě, za náborové procesy a řadu dalších opatření, ale zřejmě to nestačí. Pokrok je podle MEP moc pomalý: žen-profesorek je jen 18 %, docentek jen 27 %, děkanky pouhé dvě.
U čtyř z osmi škol oceněných v genderu nejlepší známkou ministerstvo zmiňuje možné systematické nadhodnocení ve zprávě MEPu (viz protokoly z tripartit), a to u MENDELU, OU, UTB a VETUNI: tam tedy můžeme brát celé hodnocení s rezervou. K reportu UK ani ČVUT však MŠMT žádné výhrady nemá. Proč má být UK s lepšími parametry hodnocena jako „podprůměrná” o tři stupně hůře než „vynikající” ČVUT tedy zůstává otázkou.
Udržitelnost
Tento indikátor se kompletně jmenuje „Udržitelnost a odolnost VaVaI” a škola by měla popsat „opatření pro udržitelnost a zvyšování odolnosti VaVaI, pokud takový systém má a na příkladech doloží, jak jej implementuje”. Měl jsem určitou dobu jako prorektor oblast udržitelnosti na starosti, takže jsem se i do tohoto indikátoru podíval trochu podrobněji. V Metodice 25+ je přitom výčet sledovaných aspektů pozoruhodně rozsáhlý, od koncepce udržitelného rozvoje přes strategii společenské zodpovědnosti, systém transferu znalostí až po ochranu duševního vlastnictví nebo digitalizaci a využívání smart technologií.
Možná díky velké šíři témat přistupovaly různé panely k tomuto indikátoru různě: některé se zaměřily na environmentální hledisko a SDG (sustainable development goals), jiné spíše na odolnost výzkumného systému, kdežto u dalších je vidět hlavně důraz na institucionálně-procesní pojetí, tedy data, Open Science, IP, transfer, kyberbezpečnost a řízení rizik. Výsledná hodnocení pak vypadají takto:
| Známka v kritériu 4.4 | počet | podíl | školy |
| 5 – Outstanding | 10 | 30,3 % | ČVUT, MUNI, OU, SLU, UPCE, UPOL, UTB, VETUNI, VUT, VŠCHT |
| 4 – Very good | 14 | 42,4 % | AMU, AVU, JU, MENDELU, PEUNI, TUL, UHK, UMPRUM, VŠB‑TUO, VŠE, VŠPJ, VŠTE, ZČU, ČZU |
| 3 – Average | 8 | 24,2 % | AAVŠ, ERUNI, JAMU, MUP, ŠAVŠ, UJEP, UK, VŠFS |
| 2 – Below average | 1 | 3,0 % | AMBIS |
| 1 – Inadequate | 0 | 0 |
Průměr všech známek tu je 4,0 a „průměrná” trojka je tady podprůměrná. Mezi deseti „vítězi” s hodnocením 5 je pět škol, u kterých MŠMT vyjádřilo určitou výhradu vůči možnému „systematickému nadhodnocení” ze strany MEP. Kromě výše zmíněných OU, UTB a VETUNI také u SLU a VUT. Jako „nezpochybněné” školy s nejvyšším hodnocením v udržitelnosti pak lze považovat ČVUT, MUNI, UPCE, UPOL a VŠCHT. U ČVUT panel vyzdvihuje především transfer, komercializaci a odolný datový ekosystém, u MUNI panel chválí zejména komplexnost a vzájemné propojení jednotlivých systémů, v případě UPOL především strategii udržitelnosti doprovázenou konkrétními dvouletými akčními plány a doloženým vyhodnocením jejich plnění, u UPCE vyzdvihuje mimořádně široký formální institucionální rámec, ale s určitou nejistotou ohledně praktické účinnosti a u VŠCHT chválí integraci SDGs, transferu, dat, kyberbezpečnosti, digitalizace a institucionální kultury. Na poslední příčce pak zůstala soukromá vysoká škola AMBIS (která na druhé straně skončila mezi vítězi v „genderu”). MEP jí vyčítá hlavně neúplný systém transferu znalostí (chybí specializované transferové pracoviště a systematická podpora patentů, licencování, komercializace či spin-offů) a absenci správy výzkumných dat – AMBIS nemá institucionální repozitář, komplexní „research data management” ani rozvinutý systém open access.
Srovnání ekonomických fakult
V tomto odstavci se ještě vrátím k modulu 3, který hodnotí společenskou relevanci jednotlivých fakult. Minule jsem na příkladu lékařských fakult ukázal, jak u nich nekorelují hodnocení v modulu 1 (kvalita vybraných výsledků) a modulu 3. Dokonce ani pokud se omezíme pouze na známky modulu 1 udělené za výsledky hodnocené dle „společenské relevance”, tak nekorelují s modulem hodnotícím společenskou relevanci. Dalo by se namítnout, že vzorek lékařských fakult je příliš malý. Proto se tu pokusím zopakovat stejné srovnání pro případ, kdy je fakult naopak hodně, tedy ekonomické fakulty. Do tabulky jsem zařadil fakulty či pracoviště, které jsou svým charakterem s ekonomickými fakultami srovnatelné – takto jsem identifikoval 33 jednotek (některé s určitými vysvětlujícími poznámkami).
| Pořadí dle M3 | Hodnocená jednotka | Průměr M3 | Průměr M1 | M1 – společenská relevance |
| 1 | TUL – Ekonomická fakulta | 5,00 | 3,11 (9) | 3,50 (2) |
| 2 | UTB – Fakulta managementu a ekonomiky | 4,83 | 3,50 (14) | 3,50 (6) |
| 3 | PEUNI – Fakulta podnikání a práva ‡† | 4,80 | 4,10 (10) | 4,13 (8) |
| 4 | PEUNI – Fakulta podnikání ‡† | 4,60 | 4,10 (10) | 4,13 (8) |
| 5-8 | MENDELU – Provozně ekonomická fakulta | 4,33 | 2,95 (20) | 3,06 (16) |
| 5 – 8 | VUT – Fakulta podnikatelská | 4,33 | 4,13 (8) | 4,50 (2) |
| 5 – 8 | ZČU – Fakulta ekonomická | 4,33 | 3,64 (11) | 4,13 (8) |
| 5 -8 | ČZU – Provozně ekonomická fakulta | 4,33 | 3,52 (21) | 3,69 (16) |
| 9 – 15 | SLU – Obchodně podnikatelská fakulta | 4,00 | 3,43 (14) | — |
| 9 – 15 | UHK – Fakulta informatiky a managementu | 4,00 | 3,22 (9) | 3,14 (7) |
| 9 – 15 | UJEP – Fakulta sociálně ekonomická | 4,00 | 3,17 (6) | 3,75 (4) |
| 9 – 15 | UK – Fakulta sociálních věd § | 4,00 | 2,29 (77) | 3,50 (6) |
| 9 – 15 | UPCE – Fakulta ekonomicko-správní | 4,00 | 2,44 (9) | — |
| 9 – 15 | VŠE – Fakulta informatiky a statistiky | 4,00 | 3,00 (19) | 3,63 (8) |
| 9 – 15 | VŠE – Fakulta podnikohospodářská | 4,00 | 2,89 (27) | 3,14 (14) |
| 16 – 17 | MUNI – Ekonomicko-správní fakulta | 3,83 | 2,81 (21) | 3,33 (9) |
| 16 – 17 | UK – CERGE | 3,83 | 1,18 (11) | — |
| 18 – 21 | ERUNI – PRIGO University College | 3,67 | 3,50 (10) | 4,25 (4) |
| 18 – 21 | VŠE – Fakulta financí a účetnictví | 3,67 | 2,60 (10) | 3,25 (4) |
| 18 – 21 | VŠTE – Fakulta podnikové strategie † | 3,67 | 3,90 (10) | 4,13 (8) |
| 18 – 21 | VŠTE – Ústav znalectví a oceňování † | 3,67 | 3,90 (10) | 4,13 (8) |
| 22 – 23 | MUP – celá škola § | 3,50 | 2,94 (32) | 2,00 (1) |
| 22 – 23 | ŠAVŠ – celá škola | 3,50 | 3,75 (16) | 3,82 (11) |
| 24 – 26 | JU – Ekonomická fakulta | 3,33 | 3,50 (12) | 4,00 (4) |
| 24 – 26 | VŠE – Fakulta managementu | 3,33 | 3,42 (12) | 3,57 (7) |
| 24 – 26 | VŠFS – Fakulta ekonomických studií † | 3,33 | 3,38 (21) | 3,33 (6) |
| 27 – 28 | VŠB‑TUO – Ekonomická fakulta | 3,17 | 2,89 (27) | 2,86 (14) |
| 27 – 28 | VŠPJ – celá škola § | 3,17 | 3,91 (11) | 3,88 (8) |
| 29 | VŠE – Fakulta mezinárodních vztahů | 3,00 | 3,00 (17) | 3,17 (6) |
| 30 – 31 | AMBIS – celá škola § | 2,67 | 3,91 (22) | 4,88 (8) |
| 30 – 31 | VŠE – Národohospodářská fakulta | 2,67 | 3,00 (13) | 3,40 (5) |
| 32 | ČVUT – Masarykův ústav vyšších studií | 2,50 | 3,88 (16) | 3,93 (14) |
| 33 | AAVŠ – School of Business † | 1,83 | 3,75 (12) | — |
Vysvětlivky:
· číslo v závorce uvádí počet hodnocených výsledků
· † M1 není v databázi rozdělen na odpovídající fakultu či school; použit je institucionální průměr.
· ‡ zpráva MEP pro PEUNI byla z oficiálního hodnocení vyřazena.
· § smíšená jednotka nebo celá škola, jejíž M3 a M1 zahrnují i jiné společenskovědní obory.
· „—“ znamená, že v databázi M1 nebyl pro danou jednotku nalezen žádný výsledek hodnocený podle společenské relevance.
Vítězem by podle známek v M3 měla být Ekonomická fakulta Technické univerzity Liberec: ve všech parametrech plný počet. Jenomže v protokolu z tripartity se u TUL dočteme, že „MŠMT dochází k závěru, pozorované trendy systematického nadhodnocení snižují reliabilitu hodnocení MEP.” Podobná námitka se v různých formách objevuje i u dalších šampionů: UTB, PEUNI, MENDELU i VUT. Nejlépe hodnocenými fakultami bez zpochybňující poznámky ze strany MŠMT tak jsou Fakulta ekonomická Západočeské univerzity a Provozně ekonomická fakulta České zemědělské univerzity. Obě mají čtyři čtyřky a dvě pětky, obě pětky ve stejných ukazatelích: v „uznání výzkumnou komunitou” a v „implementaci doporučení” z předchozího hodnocení. Na posledním místě skončila Anglo-americká vysoká škola, a.s. se svou „ School of Business”. MŠMT u této školy píše, že „AAVŠ vykazuje podle všech analýz provedených poskytovatelem … výkon hluboko pod očekávání i ve srovnání s dalšími VŠ hodnocenými stupněm D” a na jeho návrh byla z hodnocení vyřazena.
Ani na takto velkém vzorku se neobjevuje žádná významnější korelace mezi úspěšností v modulech 1 a 3, a to ani pokud bereme v potaz pouze výsledky hodnocené kritériem „společenská relevance”. Průměrná známka všech výsledků těchto fakult v M1 je 3,11, těch v kritériu „společenská relevance” pak 3,60. Průměrná známka uvedených fakult v M3 je 3,72. Řada „podprůměrných” v M3 vykazuje nadprůměrně kvalitní výsledky a naopak. Nejvíce do očí razící případ může být u CERGE, které má za vybrané výsledky téměř samé jedničky (nejlepší známka v M1), ale v M3 skončilo těsně poblíž průměru. Naopak z hlediska MEPů excelentní fakulty jako třeba Fakulta podnikatelská VUT nebo obě fakulty Panevropské univerzity, a.s. (PEUNI) skončily se svými vybranými výsledky v hlubokém podprůměru. Dá se z toho usuzovat, že společenská relevance pracoviště jako celku a společenská relevance výsledků tímto pracovištěm vytvářených jsou dvě zcela odlišné věci? Nebo spíše to, že se nedaří kalibrovat MEPy a je důvodné pochybovat o vypovídací hodnotě jejich zpráv?
Příště: diskvalifikace, vstupy ministerstva, počítání průměrů, modul 5 a žebříček právnických fakult.