28 lipca 2022 roku Ministerstwo Edukacji i Nauki wydało decyzję o kategoriach przyznanych w wyniku ewaluacji jakości działalności naukowej w latach 2017-2021. UAM uzyskał kategorię A+ w dwóch dyscyplinach (archeologia oraz nauki o kulturze i religii), kategorię A w 10 dyscyplinach i kategorię B+ w 11 dyscyplinach.
Moją pierwszą reakcją na długo wyczekiwany wynik była ulga – żadna z naszych ewaluowanych 23 dyscyplin nie otrzymała kategorii B, a zatem nie grożą naszemu Uniwersytetowi żadne niekorzystne konsekwencje zapisane w ustawie Prawo o szkolnictwie wyższym i nauce z dnia 20 lipca 2018 r. (z późn. zm.). Przede wszystkim nie tracimy żadnych uprawnień do nadawania stopni oraz mamy prawo ubiegać się o przedłużenie programu ID-UB. Szczegółowo nasz wynik oznacza, iż mamy nadal:
1/ możliwość prowadzenia kierunków studiów
2/ mogą być tworzone nowe kierunki studiów bez konieczności ubiegania się o pozwolenie (art. 53)
3/ uczelnia może potwierdzać efekty uczenia się uzyskane w procesie uczenia się poza systemem studiów osobom ubiegającym się o przyjęcie na studia na określonym kierunku, poziomie i profilu (art. 71)
4/ możliwość prowadzenia szkół doktorskich (art. 198)
5/ możliwość ubiegania się o ponowne wnioskowanie w programie Inicjatywa Doskonałości – Uczelnia Badawcza (art. 388.1 ust. 1) – uczelnia prowadzi działalność naukową w co najmniej sześciu dyscyplinach, w których przeprowadzona została ewaluacja jakości działalności naukowej, i posiada kategorię naukową A+ albo A w co najmniej połowie tych dyscyplin (na UAM – 12/11)
6/ uprawnienia do nadawania stopni naukowych doktora i doktora habilitowanego.
Uzyskaliśmy nowe uprawnienia w pierwszy raz ewaluowanej dyscyplinie inżynieria materiałowa w dziedzinie nauk inżynieryjno-technicznych (kategoria A). Utrata uprawnień w dyscyplinie nauki o bezpieczeństwie w dziedzinie nauk społecznych wynika z faktu, że dyscyplina ta nie była poddana ewaluacji.
Pomimo bezpiecznego wyniku decyzją JMR Pani Rektor w konsultacji z dziekanami (kierującymi dyscyplinami) złożono odwołania w dziewięciu dyscyplinach, w których przyznana kategoria, naszym zdaniem, nie jest zadowalająca w odniesieniu do osiągnięć naukowców_czyń prowadzących badania w danej dyscyplinie. Z A na A+ odwołaliśmy się w dyscyplinach filozofia, językoznawstwo i literaturoznawstwo, z B+ na A – w dyscyplinach historia, nauki o sztuce, nauki o polityce i administracji, nauki biologiczne, nauki chemiczne i nauki teologiczne.
Przypomnę krótko zasady i kryteria, według których przebiegał proces oceny. Ewaluacja jakości działalności naukowej odbywała się po raz pierwszy w obrębie dyscyplin (nie były oceniane jednostki prowadzące badania). Oceniane były osiągnięcia wszystkich (a nie wybranych) pracowników_czek, czyli kryteria były intensywne, skalowane do liczby N, skutkiem czego im większe N, tym trudniej osiągnąć dobry wynik. Obowiązywał limit osiągnięć do czterech najlepszych. Wyznaczono trzy kryteria:
kryterium I – poziom naukowy (lub artystyczny) prowadzonej działalności naukowej (artykuły, monografie, patenty) [70/60%]
kryterium II – efekty finansowe badań naukowych i prac rozwojowych (projekty, badania lub prace rozwojowe zagraniczne, NCN, NCBR; NPRH; komercjalizacja wyników) [10/20%]
kryterium III – wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki [20%].
Ewaluacja jakości działalności naukowej w sposób oczywisty dotyczy wyników pracy badaczy_ek uczelni. Jednak przygotowanie tych wyników w odpowiedniej, wymaganej przez MEiN formie, według narzuconych kryteriów, wymagało wielkiej mobilizacji i tytanicznej wręcz pracy wielu zespołów pracowników_czek UAM. Przede wszystkim pragnę wszystkim osobom zaangażowanym w ten długotrwały i intensywny proces bardzo serdecznie podziękować! Powołany został przez Panią Rektorkę Zespół ds. ewaluacji jakości działalności naukowej UAM, w którego skład, pod moim kierunkiem, weszli: pełnomocnik ds. ewaluacji jakości działalności naukowej UAM – prof. Robert Lew oraz w ostatnim, intensywnym okresie drugi pełnomocnik – koordynator prac zespołu prof. UAM Maciej Michalski, dr Magdalena Szafran, kierowniczka Biura Wsparcia Nauki, oraz jej współpracownicy, mgr Małgorzata Rychlik, wicedyrektorka BU, i zespół ds. zarządzania Bazą Wiedzy UAM (Omega PsiR) pod jej kierunkiem, zespół ds. Kryterium III pod kierunkiem początkowo prof. Michalskiego, a w zasadniczej fazie kierowany przez prof. UAM Karolinę Cern, osoby z CI, CWP, OWKO, UCITT, BSD, przedstawiciele_ki Szkół UAM, prodziekani_y ds. nauki oraz ekspert – doradca zewnętrzny.
Głównym celem zespołu było wsparcie przygotowania Uniwersytetu do procesu ewaluacji działalności naukowej poprzez działania na rzecz zapewnienia stałego dostępu do aktualnych i pełnych danych na temat publikacji i osiągnięć pracowników_czek. Zintegrowana z danymi kadrowymi baza pozwoliła na rzetelny ogląd osiągnięć oraz analizę zagrożeń i działania zaradcze. To działanie wymagało stałej wymiany informacji i współpracy ze strony autorów_ek publikacji, przede wszystkim zgłaszania ich do Bazy Wiedzy, jak też śledzenia komunikatów i informacji od Zespołu, dotyczących polityki publikacyjnej UAM. Obowiązkiem pracowników_czek było też składanie odpowiednich oświadczeń i deklaracji.
Członkowie Zespołu ds. ewaluacji komunikowali się stale za pomocą platformy Teams, odbywały się też regularne spotkania robocze i naturalnie były również kontakty mailowe i telefoniczne. Mieliśmy do czynienia z wielością instytucji i systemów informatycznych i ich akronimów: Ośrodkiem Przetwarzania Informacji (OPI), Zintegrowanym Systemem Informacji o Szkolnictwie Wyższym i Nauce (POL-on), Biblioteką Polską Narodową (PBN), Open Researcher and Contributor ID (ORCID), Systemem Ewaluacji Dorobku Naukowego (SEDN), Systemem Udostępniania Dokumentacji Działalności Naukowej i Artystycznej (STUDNIA) i wszelkiego rodzaju Application Programming Interface (API) koniecznymi do importu/eksportu danych z BW Omega PSiR. Samo poprawne wprowadzenie ok. 25 tysięcy publikacji ok. 3000 pracowników_czek do Bazy oraz ich eksportu do PBN to już dużej skali przedsięwzięcie. Mieliśmy ponad 80 redaktorów wydziałowych i 44 importerów PBN, wspomaganych przez zespół BW. Równolegle odbywały się liczne szkolenia, konferencje, warsztaty, webinaria, konsultacje.
Przez ostatnie dwa miesiące 2021 roku trwał żmudny proces codziennej identyfikacji i usuwania rozbieżności między Bazą Wiedzy i SEDN i korygowania błędów algorytmu SEDN, co miało istotne znaczenie dla uzyskanego wyniku.
Należące do kryterium I patenty oraz projekty i wdrożenia w kryterium II wprowadzano do systemów ręcznie – wdrożenie tych modułów do Omega PSiR zaplanowane jest na najbliższe miesiące/lata. Osobnego wysiłku wymagało przygotowanie dokumentacji do eksperckiego kryterium III, w którym oceniano zasięg i znaczenie wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki. Zespół pod wodzą prof. Cern przygotował 58 opisów wpływu według ściśle opracowanego harmonogramu oraz określonego stylu – każdy opis przygotowany przez zespoły dyscyplin podlegał minimum dwukrotnej recenzji oraz korekcie lub tłumaczeniu na język angielski przez zespół tłumaczy. Na końcu pracownicy_czki Biura Wsparcia Nauki wprowadzali dane do systemów SEDN i STUDNIA.
Pragnę podkreślić, że cały ten skomplikowany proces przygotowań do ewaluacji powiódł się dzięki kompetencji, mobilizacji, determinacji, zmotywowaniu, życzliwości i wielu innym wspaniałym cechom dużej grupy pracowników i pracowniczek naszego Uniwersytetu.
Z pewnością zaangażowani w te działania badacze_ki woleliby czas ten przeznaczyć na przygotowywanie publikacji!
Radość i krytyka
Na UAM wykonano tytaniczną pracę, która przyniosła dobre rezultaty i radość, ale wywołała też wiele zastrzeżeń.
a/ Oczekiwalibyśmy większej stabilności i przewidywalności zarówno systemu, jak i kryteriów oceny. Oryginalne Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 r. w sprawie ewaluacji jakości działalności naukowej zmieniano dwukrotnie: 31 lipca 2020 i 19 października 2021 (tuż przed końcem ewaluowanego okresu). Podobnie wykazy czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych wraz z przypisaną liczbą punktów były publikowane wielokrotnie: 31.07.2019, 18.12.2019, 18.02.2021, 1.12.2021 oraz… 21.12.2021! Wykazy wydawnictw publikujących recenzowane monografie naukowe z wykorzystaniem punktów przypisanych danemu wydawnictwu zmieniano trzykrotnie: 18.01.2019, 29.09.2020 i 22.07.2022. Kontrowersyjne są również decyzje co do przypisanych wartości punktowych, zarówno dla czasopism, jak i wydawnictw.
b/ Wielokrotnie pojawiały się poważne błędy w systemach PBN, SEDN i POL-on, również w końcowym okresie ewaluacji, które trzeba było naprawiać ręcznie, co było czasochłonne i trudne.
c/ Intensywny charakter kryteriów, a jednocześnie stałe limity 12N, silnie preferowały mało liczne dyscypliny – UAM nie prowadził tzw. optymalizacji liczby N, ponieważ naszym celem jest doskonałość naukowa, a nie manipulowanie kryteriami formalnymi.
d/ Kryterium III, eksperckie, jest ze swej natury subiektywne, wymagałoby zatem udoskonalenia.
e/ Jak pokazały porównania, wiele uczelni uzyskało nowe uprawnienia w dyscyplinach jedynie dzięki niskiemu progowi „wejścia” 12N. Dla niektórych dyscyplin oznacza to, że ponad 40 uczelni ma takie uprawnienia.
f/ Nie może nie zastanawiać fakt, że 5 z 10 uczelni tzw. ID-UB-owych (prowadzących program Inicjatywa Doskonałości – Uczelnia Badawcza) nie spełniło podstawowego wspomnianego kryterium ubiegania się o przedłużenie programu. UAM to kryterium spełnia (mamy więcej A i A+ niż B+). Czy kryteria ulegną zmianie?
Krytyczna dyskusja na temat systemu oceny działalności naukowej trwa w wielu gremiach akademickich. Jestem przekonana, że system trzeba udoskonalić. Nowo powołana Uniwersytecka Rada ds. Nauki UAM zajmie się wypracowaniem naszych propozycji już na pierwszym posiedzeniu w nadchodzącym roku akademickim. Warto przyjrzeć się systemom w innych krajach, zapoznać się z kryteriami stosowanymi przez europejskie agencje grantowe i zasadami uprawiania nauki w Unii Europejskiej. Bez względu na uwarunkowania i nadchodzące kryzysy chcemy dążyć do doskonałości. Dobre publikacje, międzynarodowa współpraca w zespołach badawczych, rozpoznawalność i cytowalność, wartościowe granty, uczestnictwo w nauce światowej – to są wartości zawsze aktualne, ponadczasowe.
Czytaj też: Prof. Katarzyna Dziubalska-Kołaczyk. Dwujęzyczność ma znaczenie
