Kvantitetshysterin hotar humaniora

Har ni någon gång undrat vem som är världens genom tiderna bästa konstnär? Rätt svar: Andy Warhol. Det får nu anses vetenskapligt fastslaget. Han toppar nämligen den rankning som nätsidan Artfacts.net gör av mer än 130 000 konstnärer. Klassningen baseras på auktionspriser och antal utställningar. Detta visar knappast hur bra konst de producerat, kanske någon invänder, men inom forskarvärlden används just efterfrågan som ett kvalitetsmått. Bibliometri kallas det då.

Kvantitativa mått framställs allt oftare som en föregivet objektiv och rationell indikator på forskningskvalitet. För att ta det viktigaste först: någon exakt metod för att värdera vetenskaplig kvalitet och forskningens genomslag existerar inte! Bibliometri är ett instrument för administratörer, inte för forskare. Metoden bryter mot professionens etos och bör därför utmönstras som generellt redskap i forskningspolitiken.

Bibliometri är en beteckning för olika fenomen. Den började utvecklas på 1920-talet för att mäta forskningens tillväxt och kommunikationsvägar. Syftet var vetenskapssociologiskt – man ville se hur forskning utvecklades och resultat brukades. Mätningarna underlättades väsentligt med datorernas intåg, men i takt med teknikutvecklingen har bibliometri allt mer blivit ett administrativt verktyg för att värdera vetenskap.

Inom medicin, teknik och naturvetenskap har bibliometri länge använts i sådant syfte. Bibliometrin saknar inte kritiker heller inom dessa fält, men över flera forskargenerationer har man fostrats att leva med den och anpassat sina publiceringsstrategier.

Inom humaniora har bibliometrin däremot saknat legitimitet och aldrig vunnit insteg. Nu anser flera instanser att kvantitativa värderingsinstrument måste börja tillämpas även här. Detta ter sig följdenligt givet den informella hierarki som råder mellan olika vetenskapliga discipliner. Jag vågar inte ha någon åsikt om bibliometrins användbarhet inom andra vetenskapsfält, men det finns starka skäl att bekämpa dess utbredning över humanvetenskaperna.

De brokiga bibliometriska tillämpningarna i dagens forskningsadministration kan inte enkelt sammanfattas. Strängt taget diskuteras dock två, delvis motstridiga metoder. Dels har vi en värdering som kan verka objektiv i teorin men där otillräckliga mätverktyg ger slumpartade utfall. Dels har vi mätverktyg som vill vara kompletta men där i gengäld mätvärdena är alltigenom godtyckliga.

Den första metoden utgår från så kallad citeringsanalys. Premissen är att den bästa forskningen är den som oftast citeras av andra forskare. Antagandet har mött berättigade invändningar, men låt oss för argumentationens skull utgå från att det inte är helt orimligt. Hur mäts då detta? Analytikern kan omöjligen studera fotnoterna i varje relevant publikation utan tvingas förlita sig på så kallade citeringsdatabaser. Mest nyttjad är den USA-baserade Web of Science, som i den senaste forskningspropositionen föreslagits ligga till grund för fördelningen av forskningsmedel till svenska högskolor. Det finns därför skäl att ge en närmare beskrivning.

Web of Science förestås av Thomson Reuters, ett amerikanskt vinstdrivande företag som agerar utan öppenhet i sin verksamhet. De indexerar närmare 16 000 vetenskapliga tidskrifter från hela världen. Humaniora och samhällsvetenskap förtecknas i varsin databas och tidskrifterna genomgår prövningar för att upptas i dessa. Thomson Reuters granskar innehållet i tre på varandra följande nummer och gör en egen värdering av kvaliteten. Någon insyn i bedömningsgrunderna finns inte, någon kommunikation med tidskrifternas redaktioner sker inte och några motiveringar lämnas inte vid vare sig ett positivt eller ett negativt beslut. Möjlighet att överklaga saknas. Man ställer inga inre krav, blott yttre som avser teknikaliteter: kontaktuppgifter till författarna, bibliografisk information på engelska, regelbunden utgivningstakt. Några angivna kvalitetskrav, exempelvis rörande redaktionella rutiner, finns inte och en snabb kontroll visar att flera indexerade tidskrifter bryter redan mot de formella kraven.

Om en tidskrift godtas i denna slutna process bedöms den i bibliometriska sammanhang som ett högkvalitativt och inflytelserikt vetenskapligt organ. Databasens täckningsgrad är omöjlig att beräkna. Thomson Reuters uppger att de accepterar 10–12 procent av de omkring 2 000 tidskrifter som årligen prövas. Av betydelse är att bara vetenskapliga tidskrifter indexeras. För många vetenskapsområden är detta försvarbart, men särskilt inom humaniora är monografin fortfarande viktig. Följaktligen missar Web of Science mycket av den mest betydande humanistiska forskningen.

Varje enskild fotnotsreferens indexeras av Thomson Reuters medarbetare. Detta kräver stora insatser och felkällorna är legio. För att finna alla relevanta poster måste brukaren därför applicera en mängd olika söktermer, men en materialfångst kan bara bli fullständig vid mycket avgränsade sökningar. Flera författare kan ha samma namn eller samma författare anges med olika adresser och namn. Ofta kan olika publiceringskanaler inte särskiljas eftersom man sammanblandat tidskrifter med likalydande namn. Skrivfelen är oräkneliga.

Det tar bara några minuter att uppdaga brister av detta slag. Var för sig kan de tyckas obetydliga, men ingen analytiker har möjlighet att gå in och kontrollera varje enskild post. Felkällorna kan därför multipliceras nästan utan gräns.

Detta är inte okända förhållanden för brukarna. Bibliometriska analyser inleds gärna med omfattande metodiska reservationer, men när allt kommer omkring måste resultat presenteras. Därför tenderar man att bortse från invändningarna eller göra olika antaganden som ska släta över nyckfullheterna. Det senare kallas fältnormalisering och kan vara rimligt inom avgränsade områden. I forskningspropositionen föreslås dock ”områdesjusterad vetenskaplig produktion och fältnormaliserade citeringar av publikationer i databasen Web of Science” som en generell metod att värdera all högskoleforskning. Äpplen, tror man, ska då kunna jämföras med päron. Men inte ens inom samma disciplin är citeringsfrekvensen alltid jämförbar. Oavsett kvalitet slår forskning om Förintelsen överlag ut forskning om folkvandringstiden om citeringar mäts i historieämnet.

I valet av metod förlitar sig regeringen på den tidigare resursutredningen, RUT 2 (SOU 2007:81). Enligt förslaget ska man endast mäta vetenskaplig produktion på engelska som publicerats i tidskrifter indexerade av Web of Science. Utredarna väljer aktivt bort monografier och alla andra språk, inte för att det är vetenskapligt motiverat utan för att metoden annars skulle bli obrukbar. Metoden har alltså primat och kartan får styra verkligheten.

Alltnog, alla är inte tillfreds med att ett privat amerikanskt företag utövar betydande inflytande över andra länders forskningspolitik. På olika håll prövas därför en annan metod, tänkt att överbrygga de kända bristerna med Web of Science.

European Science Foundation, samarbetsorganisationen för europeiska forskningsråd, ansåg att Web of Science inte gav en representativ bild av europeisk humanistisk forskning och har som motvikt därför lanserat European Reference Index for the Humanities, ERIH. Försöket är minst lika dubiöst fast av andra skäl.

ERIH indexerar inga referenser utan är bara en förteckning över tidskrifter som bedömts hålla hög vetenskaplig klass. I förlängningen ska även monografier ingå, sägs det. Urvalet har också skett i ett någotsånär öppet förfarande av särskilda ämnesexperter. Det är alltså ett till synes mindre diskriminerande verktyg. Men problemet med ERIH är att det inte ens teoretiskt ger underlag för kvalitativ analys. Det är bara en lista över publiceringskanaler.

För att ERIH trots allt skall framstå som mer än en katalog har man laborerat med en tredelad kategorisering av tidskrifterna. Efter massiva protester från vetenskapligt håll har de nyligen slopats. ”Vi har upprepat tills vi blivit blåa i ansiktet att indelningen inte handlar om hierarkier utan om kategoriskillnader”, säger Michal Worton från ERIH:s styrgrupp i Times Higher Education. Efter förändringen ”kommer allting att bli mycket tydligare”. Det lär behövas för skillnaden mellan hierarki och kategori har inte varit klar för någon, allra minst för Vetenskapsrådet (VR).

VR har ställt indexering i ERIH eller annan godkänd bas som villkor för ekonomiskt stöd till vetenskapliga tidskrifter. Maria Ågren, ordförande i VR:s publiceringsutskott, motiverar detta på följande sätt:

”Tanken bakom ERIH – att klassa tidskrifter och i förlängningen också förlag – i tre olika kategorier – bygger på att man inte ska göra så mycket dubbelarbete inom akademien. Om man vet att förlaget x eller tidskriften y har en rigorös kvalitetskontroll i form av referee-förfarande, borde man kunna lita på att artiklar och monografier som publiceras där håller hög kvalitet och att man därför inte behöver göra egna kvalitetskontroller.”

Det är alltså en fullständig kapitulation för administrativa hänsyn i bedömningen av forskningen. Av resursskäl föreslås ett aprioriskt urvalsinstrument för att skilja föregivet god forskning från mindre god. Med denna modell är det tidskriften som adlar forskningen hellre än forskningen som adlar tidskriften. Hur man nu ska göra, då kategoriindelningen slopas, återstår att se. Under senvåren ska VR presentera den förfinade ”bibliometriindikator” som regeringen beslutat om för att fördela forskningsresurser till högskolorna.

Ett sådant system finns redan i Norge och metoden därifrån tillämpas även på vissa svenska universitet. På olika vägar upprättas listor över förlag och tidskrifter; godkända publiceringskanaler anvisas ett poängtal. I Norge tilldelas en monografi noll, 3 eller 8 poäng beroende på förlag medan en tidskriftsartikel får noll, 1 eller 3 poäng. Även andra publiceringsformer kategoriseras på detta sätt. Genom att addera dessa tal värdesätts enskilda forskares, hela forskargruppers eller högskolors publiceringar. Men eftersom grundvärdena är godtyckligt satta inser alla som tillägnat sig mellanstadiets matematik att slutsumman går allt mer överstyr ju fler termer som adderas. Detta måste karakteriseras som bibliometrins mest urartade stadium.

Men, lär någon anmärka, är det verkligen så dumt att använda kvantitativa mått vid sidan av kvalitativa? Svaret är att det alltid har gjorts och försiktigt brukat kan det visst ha ett värde. Det som skrämmer nu är att man söker en universell metod för att mäta forskningens kvalitet. Men oavsett om man använder Web of Science, ERIH eller Google Scholar, som också har föreslagits, kvarstår faktum: några allmängiltiga metoder att mäta forskningens kvalitet existerar inte.

Alla värderingssystem, även kvalitativa, innebär villkorade uppskattningar, men kvantifieringar ger gärna ett förförande exakt intryck. Om en forskare tilldelas 12 poäng och en annan 19 är det svårt att bortse från, även om beräkningen vilar på bräckligt underlag. Sanningen är att det inte finns några enkla kvantitativa samband i bedömningen av forskningskvalitet och det räcker inte att väga och mäta meritförteckningar.

Kvantitativa värderingsinstrument tillgrips inte som den bästa tillgängliga metoden, utan för att de är kostnadseffektiva. Med enkla medel kan man producera eleganta sifferkolumner som underlag för jämförelser. Detta är principiellt tvivelaktigt, och problemen tilltar när mätningarna omfattar ojämförbara storheter och abstrakta värden. Är medicinsk forskning viktigare än konstvetenskaplig? Konstvetenskap viktigare än litteraturvetenskap? Forskare A bättre än forskare B? Sådana frågor har inga matematiska svar.

Vad mer är: Bibliometri mäter en variabel som forskaren inte rår över, nämligen efterfrågan. Du kan sträva efter att optimera kvaliteten på din forskning, men aldrig förutse hur den emottas. I någon mån kan forskningen stimulera efterfrågan genom att visa följsamhet mot trender, men då beträder den ett sluttande plan. Forskarens fria kunskapssökande har länge setts som en grundbult inom vetenskapen. Med bibliometrisk resultatstyrning blir forskarens strategiska fråga ”Kommer detta att efterfrågas?” snarare än ”Är detta god forskning?” När vissa publiceringskanaler föreskrivs av administrativa skäl underkänns också forskarens personliga bedömning av hur de egna undersökningarna kan få bästa spridning.

Vad ska vi då ha i stället? För det första måste frågan ställas om vi alls behöver någonting. De problem man säger sig vilja lösa med kvantitativa mätmetoder är i hög grad konstruerade, vill jag påstå. Svensk offentlig förvaltning är numera resultatstyrd. Universiteten har blivit resultatenheter vars verksamhet ska mätas utifrån prestation och effekt. Modellen bygger på regelbunden avstämning, vilket kräver verktyg som visar klara förändringar. Företrädesvis sker rapporteringen i kvantitativ form eftersom prestationer är lättare att redovisa än effekter. En högskola kan enkelt rapportera prestationer i antalet examinerade studenter. Effekten, exempelvis studenternas bildningsnivå, kan endast bedömas långsiktigt och går inte att uttrycka i bestämda mått. Denna givna reflektion har omsider uppmärksammats när det gäller den grundläggande universitetsundervisningen. ”Högre utbildning”, heter det i RUT 2, ”bör fortsättningsvis undantas från det årliga kravet på produktivitetsökning som gäller för statliga myndigheter.”

Samma utredning föreslår dock mer resultatstyrning inom forskningen. Skälet är att svensk forskning påstås tappa mark internationellt. Problembeskrivningen beror på att den resultatstyrda förvaltningen bara frågar efter relativa tal. Men oavsett vilka satsningar som görs innebär en globalt ökad kunskapstillväxt med nödvändighet att Sveriges relativa andel av världens forskning minskar. Jag ser inte detta som ett problem så länge svensk forskning inte blir sämre, och det finns inget som tyder på det.

Ett annat motiv är att skattebetalarna vill veta att deras pengar går till den bästa forskningen. Detta är ett konstruerat argument, särskilt i fråga om humanvetenskaperna. I återkommande undersökningar hamnar universiteten i förtroendetopp bland offentliga institutioner. Om allmänhetens intressen fick styra torde vi snarare få se mer av okomplicerad handbokskunskap skriven på lätt svenska än avancerade internvetenskapliga diskussioner på främmande språk i utländska specialiserade tidskrifter.

Men även utan resultatstyrning kan det vara ett rimligt mål att öka svenska humanisters internationella engagemang. Vad ska man då erbjuda för att uppnå detta? Först av allt ökade resurser och bättre villkor för forskning. Detta naiva önskemål grundas i det triviala konstaterandet att man får vad man betalar för. Svenska forskare syns mindre än sina nordiska kolleger, heter det ofta. Sanningen är att forsknings- och undervisningsvillkoren är väsentligt bättre liksom resurserna för konferensresor, översättning och språkgranskning är mer lättåtkomliga än i Sverige. Per forskad timme och satsad krona är jag däremot tveksam till om svenska forskare är mindre produktiva än sina kolleger i grannländerna.

För att nå ut bättre vore ett system med tydlig målstyrning och en motsvarande resursanalys att föredra. Konkret kan det innebära att VR belönar varje slutrapporterat projekt med en därtill avpassad summa pengar för att bekosta översättning av delstudier eller sammanfattande rapporter till större språk. Ett sådant system skulle innebära att man uppmuntrade hellre än tvingade till internationell kommunikation.

Internationellt genomslag kan under inga omständigheter vara det enda måttet på svensk humanioras kvalitet. En vetenskap som studerar mänskliga erfarenheter och samhällsfrågor måste också verka utanför akademin och berika kulturliv och allmän debatt. Sådan tillämpad humaniora kan inte heller mätas med vedertagna bibliometriska metoder.