Články označené ako BrandCom sú pripravené a publikované v spolupráci s komerčnými partnermi. Hoci redakcia TRENDU nie je ich autorom, ich obsah považuje za prínosný pre čitateľa a preto umožnila ich publikovanie. Viac o BrandCom

BLOG Jozef Hvorecký

Zhadzovať samých seba

07.03.2014 | Jozef Hvorecký

Zbytočné zhoršovanie výsledkov namiesto reálneho pohľadu

  • Tlačiť
  • 13

Takmer všetky vysoké školy v súčasnosti pripravujú podklady pre svoju komplexnú akreditáciu. Keďže jej kritériá sa upresňovali až v priebehu minulého roka, nie vždy sa podarilo definovať ich tak, aby zobrazovali reálnu situáciu pracovísk a rozvrstvili ich podľa ich výkonnosti. A to aj napriek tomu, že snaha o ich objektivizáciu a merateľnosť je nespochybniteľná. Ukážem asi najmarkantnejší prípad.

V kritériách atribút ocenenia treba vypočítať „celkový počet citácií v hodnotenom období na 10% najcitovanejších prác akademických zamestnancov za celé obdobie ich tvorivej činnosti podľa WOS. Kritérium sa hodnotí prepočítaním celkového počtu citácií všetkých hodnotených zamestnancov pripadajúcich na jedného zamestnanca.“

Do najvyššej kategórie A sa zaradia pracoviská, kde výsledná hodnota je 5. Na kategóriu B treba dosiahnuť minimálne hodnotu 3, na C hodnotu 1. Výpočet je nanešťastie nastavený tak, že príliš veľa (aj inak kvalitných) pracovísk zaradí do kategórií C a D. A to aj takých, ktoré budú spĺňať ostatné ktirériá na úrovni A, resp. B.

Úmysel hodnotiť iba 10% prác je racionálny, lebo len malé percento publikácií sa objavuje v časopisoch s výraznejšou odozvou v akademickej obci. Nielen preto, že úroveň slovenskej vedy je taká, aká je. V každom štáte sa najviac publikácií sa nachádza v domácich časopisoch a v zborníkoch národných konferencií. Tie jednoducho nemajú šancu byť citované podľa WOS.

Väčšina článkov (a opäť to platí na celom svete) nie je nikdy citovaná nikým iným iba ich autormi, čo sa právom nepovažuje za skutočnú citáciu.

Okrem toho, čím je práca staršia, tým je menej pravdepodobné, že ju bude niekto citovať. Vrchol sa dosahuje v intervale dva až sedem rokov. Z toho vyplýva, že efekt dodatku „za celé obdobie tvorivej činnosti“ sa prejaví iba pri malom počte publikácií. Ak aj práca bola v minulosti hojne citovaná, jej citovanosť v hodnotenom období bude oveľa nižšia.

Predstavme si, že fakulta má 100 zamestnancov, ktorí publikovali 300 prác, ktoré spadajú do obdobia, v ktorom sa citácie dajú reálne očakávať. Hodnotenie sa bude týkať 10% t. j. 30 z nich. Ak ich priemerná citovanosť v rokoch 2008 až 2013 je 5 (čo, ako ukážeme nižšie, predstavuje úžasný výkon), celkový počet citácií bude 150. Ako priemer na jedného zamestnanca vyjde číslo 1,5. To zodpovedá kategórii C – druhému najhoršiemu hodnoteniu, iba krok od vedeckého dna. Veľmi dobrá priemerná citovanosť 3 už povedie k výsledku 0,9, teda k zaradeniu do kategórie D.

Prečo je 5 citácií podľa WOS mimoriadny výkon?

Takzvaný impakt faktor časopisu udáva priemerný počet citácií článkov, ktoré boli uverejnené. Impakt faktor 1,0 teda znamená, že ak článok v ňom je citovaný 5-krát, iné štyri neboli vôbec citované. Päť citácií jednej práce je preto skôr výnimka ako hromadný jav. Máloktoré slovenské vedecké časopisy majú impakt faktor aspoň 1,0, čo pomer ešte zhoršuje.

Aj iný pohľad naznačuje, že očakávať množstvo prác s vyšším počtom citácií podľa WOS je nereálne. Kritériá inaugurácií požadujú na väčšine fakúlt desať až dvadsať zahraničných citácií (akýchkoľvek, nie iba podľa WOS) ako celoživotný výkon uchádzača o titul profesora. Nepomer je očividný. Na jednej strane 20 akýchkoľvek zahraničných publikácií pri inaugurácii za celý život - na druhej strane 5 citácií vo WOS na každého zamestnanca za uplynulých 6 rokov.

Preto sa dá očakávať, že podľa navrhovaného vzorca padnú takmer všetky pracoviská v oblasti 8 – Ekonómia a manažment – do kategórií C a D (a asi aj v mnohých ďalších, najmä humanitných, vedných odboroch). To určite nie je v súlade s cieľom akreditácie zaradiť pracoviská do štyroch úrovní podľa výkonu.

Ak sa má dosiahnuť reálny obraz o kvalite pracovísk, je vhodnejšie postupovať podobne ako pri atribúte výstupov. Vziať pevne stanovaný počet hodnotených prác (najlepšie zhodný s počtom prác v atribúte výstupov), spočítať ich citácie a výsledok vydeliť počtom prác (nie pracovníkov). Takto získané číslo by vyjadrovalo niečo ako „impakt faktor pracoviska“ a bolo by oveľa presnejším vyjadrením jeho kvality. Priamym porovnaním výsledkov by vznikol rebríček pracovísk a teda aj obraz ich relatívnej úspešnosti.

_____

Na záver dobrá správa, ktorá prišla tesne po zverejnení tohto blogu a ktorej obsah podľa všetkého vznikol nezávisle od neho.

Na základe elektronického listu zo sekretariátu AK z dňa 7. marca 2014 (podpísaná riaditeľka Sekretariátu AK a tajomníčka AK RNDr. Mária Holická) sa atribút ocenenia bude vypočítavať takto:

Priemerný počet všetkých citácií na akad. zamestnanca zo skupiny 10% najcitovanejších zamestnancov za celé obdobie ich tvorivej činnosti podľa WOS s vylúčením autocitácií.

  • Tlačiť
  • 13

Tagy Akreditácie, Kvalita vysokoškolského systému, Prevencia vzájomnej deštrukcie vysokých škôl

Jozef Hvorecký

Jozef Hvorecký
  • Počet článkov: 114
  • Priemerná čítanosť: 2447
  • Priemerná diskutovanosť: 10
  • RSS blogu

O blogu

Vysokoškolský pedagóg špecializujúci sa na znalostný manažment, e-learning, na používanie výpočtovej techniky vo vzdelávaní a na manažment vysokých škôl. Svoje názory na anti-manažment vysokých škôl zhrnul v knihe Testament vedca (Premedia, 2015).



Honorary Lecturer of the University of Liverpool



Návod, ako zábavnejšie učiť fyziku, matematiku a slovenčinu nájdete v poloučebnici Meňavce: Veľký tresk (Raabe, 2018). Každý zvedavec vo veku 10 - 110 rokov v nej niečo zaujímavé nájde.















Člen iniciatívy Za živé univerzity

Jozef Hvorecký

Jozef Hvorecký
  • Počet článkov: 114
  • Priemerná čítanosť: 2447
  • Priemerná diskutovanosť: 10
  • RSS blogu

O blogu

Vysokoškolský pedagóg špecializujúci sa na znalostný manažment, e-learning, na používanie výpočtovej techniky vo vzdelávaní a na manažment vysokých škôl. Svoje názory na anti-manažment vysokých škôl zhrnul v knihe Testament vedca (Premedia, 2015).



Honorary Lecturer of the University of Liverpool



Návod, ako zábavnejšie učiť fyziku, matematiku a slovenčinu nájdete v poloučebnici Meňavce: Veľký tresk (Raabe, 2018). Každý zvedavec vo veku 10 - 110 rokov v nej niečo zaujímavé nájde.















Člen iniciatívy Za živé univerzity

Kalendár sa načítava...