Som sagt…

oktober 20th, 2008 (måndag)

Ranking. Igen.

Sparat under: politik, utbildning — Etiketter:, , , — Johan @ 09:45

Metro hade idag en artikel om debatten kring ranking. I artikeln får Pär Gustafsson, ordförande för Liberala studenter, och Moa Neuman, ordförande för Sveriges Förenade Studentkårer, uttala sig för respektive mot rankingsystem.

I intervjun kommenterar Pär Gustsfsson det hela bland annat så här:

– Jag tror att Högskoleverket kan göra rankningen på ett bra sätt och jag är faktiskt inte så intresserad av hur.

Och därmed har han gjort precis det misstag jag är rädd för när man talar om ranking. Att mäta kvaliteten på en utbildning eller en utbildningsmiljö kan vara en bra idé eftersom det kan ge indikatorer på var brister kan tänkas finnas och inom vilka områden excellens uppnås. Men då krävs det att man vet vad det är man faktiskt mäter. Vilken statistiker som helst kan intyga att statestik tagen ur sin kontext blir meningslös.

Ett tack till Moa Neuman som gör sitt jobb att försöka representera alla studenter och itne bara de med en viss, smal politisk inriktning…

oktober 9th, 2008 (torsdag)

Anatomy of a Ranking

Sparat under: Guide, politik, utbildning — Etiketter:, , , , , , , , — Johan @ 18:27

Så var det dags igen – att hitta ett enkelt, mätbart värde för precis hur bra ett lärosäte eller en utbildning är. Dags att hitta hur mycket av SI-enheten Kvalitet (förkortat: Bra) man kan uppmäta. Är det 23 Bra eller bara 14,7 Bra?

Sydsvenska Industri- och Handelskammaren har precis publicerat sin rankinglista. Alla måste kommentera detta! Skövde ligger högt, Blekinge Tekniska Högskola klättrar, Högskolan Väst är näst sist, Lund går om Uppsala – och så vidare. Det viktiga är var man hamnar på listan.

Men inte i någon av ovan nämnda artiklar går man på djupet och analyserar vad rankingen faktiskt mäter. Vilket, som jag påpekat förr, är det viktiga. Därför tänkte jag nu visa hur ett avancerat rankingsystem fungerar.

Handelskammaren använder 8 olika faktorer (7 för de lärosäten som inte har forskarutbildning). Var och en av dessa normeras inom sig själv gämtemot riks-genomsnittet och läggs sedan samman med lika viktning mellan samtliga indikatorer. Alltså anser Handelskammaren att dessa indikatorer alla är exakt lika värdefulla för att visa på kvaliteten hos lärosätet. Någon motivering till det finns inte, så jag har svårt att ifrågasätta det ytterligare.

Innan jag går in ytterligare på de indikatorer som används vill jag påpeka att rankingen bara mäter lärosäten i det här fallet. Det betyder att det per definition är bättre att driva en enda utbildning med extremt höga värden än det är att driva 10 med nästan lika höga och en med dåliga värden. Att utbildningarna iallafall kan ha utbyte av varandra eller att vissa profiler har svårare att hävda sig i vissa indikatorer är inte något man tar hänsyn till. Istället drar man slutsatsen att det ska fungera så som metoden bygger på att det ska göra.

Indikator 1: Effektivitet i grundutbildningen. Ordet ”effektivitet” skrämmer mig en aning här, men låt oss inte hänga upp oss på ord utan titta på vilken data som används. Det här är egentligen två värden som vägs samman. Hur framfår inte av rapporten.

Det första värdet för indikatorn är ”examinationsgraden” – antalet studenter som börjar en utbildning delat med antalet som tar ut examen. Att många studenter på fristående kurser antningen inte ämnar ta ut examen eller väljer att inte göra trots möjlighet, är inget Handelskammaren problematiserar. Man bör ha korta program-utbildningar för att komma högt här.

Det andra värdet för den första indikatorn handlar om antalet poäng en student på lärosätet igenomsnitt har efter tre år. Precis som det första värdet så ökar lärosätets Bra-värde om man inte är så noggrann med att studenterna ska göra något för att få ut sina poäng. Detta är något som rapporten nämner (sidan 26), men bara konstaterar att man ”upprepat mätningen över sex år” och därför har ”modellen kvalitetsäkrats”. Jag frågar mig om det är den kvalitetsäkringen som gjort att man så noga kommit fram till att indikatorn ska viktas lika med övriga indikatorer…

Indikator 2: Studentattraktivitet. Här är det antalet studenter som väljer lärosätet i första hand vid ansökning. Lärosäten med få konkurenter i närheten missgynnas, medan de lärosäten som har ett stort rekryteringsområde. En tydlig marknadsföring är vägen till att öka i Bra. En risk är att de med rykte om sig att vara enkla ges bättre värde.

Indikator 3: Pedagogiska resurser. Helt enkelt antal lärare per student. Här missgynnas per automatik de som har en profil åt de områden med lägre resurstilldelning – humaniora och samhällsvetenskap. Teknik, medecin eller allra helst specialuppdrag (så som Sveriges Lantbruksuniversitet, SLU) eller det konstnärliga området hamnar högt upp! Dessutom bör man akta sig för att ha proffessorer med lite undervisning och mycket forskning i sin tjänst. Adjunkter är det som ska sköta undervisningen – och helst dåligt betalda sådana.

Indikator 4: Lärarkvalifikationer. Är liktydigt med andelen disputerade lärare. Här kompenserar vi lite för risken med ovanstående indikator. Lärare ska nu vara disputerade, men för att inte sänka den ovanstående indikatorn bör de vara lektorer och inte mer. Det finns ingen indikator i rankingsystemet som tar hänsyn till pedagogisk skicklighet.

Indikator 5: Internationellt utbyte. Är definierat som antalet in- och utresande inom ramen för utbytesprogram. De internationella studenterna som är utanför programmen (vilket är de allra flesta på master-nivå) räknas inte. Inte heller räknas internationellt forskarutbyte. Eller utländska föreläsare. Eller joint-programmes. Eller en massa andra indikatorer. Att befinna sig nära en gräns torde dock vara bra.

Indikator 6: Attraktiv forskning från företag. Detta är detsamma som mängden externa medel. Här gynnas generellt teknik och medicin kraftigt. Att bedriva cancerforskning är till exempel mycket attraktivt för externa finansiärer.

Indikator 7: Effektivitet i forskarutbildningen. Detta är den indikator som inte finns för de som inte har forskarutbildning – vilket jag förstår som att deras resultat inte påverkas av att de inte har det. Detta är liktydigt med det första värdet för indikator 1 – fast för forskarutbildningen och har samma problem som den indikatorn.

Indikator 8: Forskningsproduktivitet. Här har rapporten ett föredömligt långt resonomang om svårigheterna med att mäta produktiviteten. Den bestämmer sig ändå slutligen för att man ska använda antalet publicerade artiklar i de vetenskapliga tidskrifter som finns i databaserna hos Thomson Scientific. Detta rör mestadels tekniska, naturvetenskapliga och medecinska tidskrifter – så de områdena gynnas. Dessutom tenderar många humanister och samhällsvetare att fokusera på mer närliggande områden vilket gör att de missgynnas.

Så vad ska man då göra för att vara ett lärosäte av Kvalitet. Hur är finns det mycket Bra hos en? Jo, vi kan se några tendenser…

Man ska fokusera på medicin (Karolinska toppar listan), eller teknik (KTH på fjärde plats, Chalmers på femte). Man bör ha en specialinriktning som är lätt att marknadsföra och där ingen utökad verksamhet riskerar att dra ned värdet (SLU på andra plats) – vilket ses som en slutsats av Handelskammaren, inte ett resultat av metoden. Man bör vara ett gammalt, etablerat lärosäte som hunnit göra sig ett namn på den internationella arenan – i synnerhet forskningsmässigt (Lund på sjätte plats, Uppsala på sjunde. Listan fortsätter med de som är väl integrerade med omgivande näringsliv, vilket jag kan se en poäng i, men det är ofta delvis ett resultat av deras geografiska placering. Jag tänker inte ge exempel på lärosäten som kan tänkas ta sig mot toppen på listan genom att sänka sina kvallitetskrav för att öka lärartäthet, prestationsgrad och locka studenter till en enkel utbildning.

Mot botten av listan hittar vi lärosäten med en tydlig humanistisk eller samhällsvetenskaplig profil (Gotland är sist), man kan hitta de som skulle levt på interaktion med lokalt näringsliv men har hård konkurens från andra lärosäten (Kristianstad som har Lund på ena sidan och BTH på andra).

Detta är vad rankingen faktiskt innebär – en godtycklig sammanvägning av godtyckligt utvalda parametrar som inte mäter varesig god pedagogik, anställningsbarhet, eller någon av de andra hundratals tänkbara och svåravgjorda variabler som vissa personer eventuellt ser som en del av sin bild av Kvalitet.

Gör separata listor för varje indikator nästa gång, tack. Och berätta vad ni mäter – försök inte lura folk att tro att Lund är 112,0 Bra.

juni 7th, 2008 (lördag)

Det bästa inlägget

Sparat under: politik, research, utbildning — Etiketter:, , , , , , , — Johan @ 00:09

Även om andra mycket adekvat redan talat om detta känner jag ett behov av att lägga min röst till debatten och klaga på hur regeringen tänker.

Om man vill bedöma hur bra olika högskolor och universitet är så vore det väl smidigt om det fanns en lista som helt enkelt berättar vilka som är bättre och vilka som är sämre. Det måste vara så regeringen har tänkt då de givit högskoleverket i uppdrag att ta fram ett rankingsystem för Sverige.

Somliga håller med Lejionborg om att rankingen skulle skapa tydlighet, medens andra tror att rankingen kommer öka lärosätenas strävan efter kvalitet.

Men problemet i det hela är att man alltid måste tänka på vad man mäter. Somliga internationella system mäter till exempel utbildnings kvalitet helt på antalet forskare som vunnit nobelpris. Knappast en god indikator. Andra mäter helt pengar/student – men det gör automatiskt utbildning som kräver dyr laboratorieutrustning mer kvalitativ och helt oavsett skulle det inte fungera med den svenska tilldelningsmodellen.

Om rankingen bygger på forskningspriser – är det vad vi vill berätta för blivande studenter? Om den mäter pengar/student så kommer alla lärosäten att sträva efter att bara ha teknologer, läkare eller konstnärer eftersom det skulle ge högst ranking.

En ranking mäter inte kvalitet. Den mäter siffror som någon tog fram för att man ville ha siffror. Verkligheten är inte riktigt så enkel. Att tro att världen fungerar på ett enkelt mätbart sätt är en förbryllande korkad idé.

Tacka vet jag det här inlägget – det är ändå det bästa inlägget. Det är ju det som är skrivet närmast idag, och det är grunden för min ranking.

Blogga med WordPress.com.