Projektet har undersökt förutsättningarna för att ge maximalt utbyte av insatta FoU-resurser.

Vilka finansieringsmodeller ger den högsta utväxlingen?
Vilka är kontraproduktiva?

Genom en systematisk analys av produktivitet och kvalitet hos forskare ställs dessa frågor om hur forskningsmedel bör fördelas för att uppnå bästa effekt. Denna övergripande frågeställning har väglett projektet under dess arbete under perioden 2014-2016.

Följande resultat har vuxit fram ur projektet:
1.    Forskningsmedel fördelas inte till de bästa forskarna. Kvinnor är signifikant missgynnade.
2.    Storleken på forskningens finansiering avgör resultatens kvalitet.
3.    De finansiärer som förmår att ge medel till forskargrupper som förmår att engagera internationella samarbeten ger största bidraget till forskningens kvalitet.
4.    Karakteristiska som allmänt tros ha betydelse för utfallet t.ex. konkurrens, visar sig inte alls vara korrelerat med goda prestationer.
5.    Tvärtemot våra vanliga föreställningar har kvantitet en stor betydelse för kvalitet i forskning.

Projektet fick en reducerad budget som gjort att ambitionerna anpassades även om projektdesignen legat fast. En del frågor överlappade med ett pågående nordiskt forskningsprojekt och det medförde att vi kunde koncentrera oss på vår specialitet. En stor bibliometrisk databas (SBD) med 48 000 svenska forskare har för första gången bearbetats och presenterats. I stället för publikationer har forskare kunnat användas som analysnivå. Det har gett ett antal fördelar och har inneburit att nya forskningsfrågor har kunnat ställas.

De första resultaten handlar om möjliga indikatorer för att visa om forskningsmedel fördelats korrekt. Dels går det att använda fördelningen mellan könen som operationalisering av begreppet ”rättvis fördelning”, dels att jämföra en grupp som har fått med de som inte fått medel. Båda metoderna har använts av projektet.

I det senare fallet har en före-efter undersökning som jämför framgång för båda grupperna påvisat låg validitet för finansiärers förmåga att identifiera talangfulla forskare.

Isolerat till den grupp av forskare som ligger närmast att få – de bäst presterande utan bidrag – blir validiteten närmast obefintlig.

När det gäller framtida karriär är det otvetydigt att de som fått bidrag har en betydligt bättre sådan vilket ger slutsatsen att finansiärers förmåga att identifiera talanger är sällsynt viktig. Det är således synnerligen problematiskt att validiteten är låg.

En uppföljning av dessa resultat med avseende på skillnader mellan män och kvinnor sätter fingret på att dessa saknas när karriären påbörjas (direkt efter disputation) men att skillnaderna uppstår under karriären och att mekanismerna förstärks över tid.

Ett annat sätt att undersöka om forskningssystemet fungerar rättvist är att undersöka om kvinnor och män belönas på likartat sätt för goda prestationer. Databasen (SBD) rangordnar samtliga svenska forskare i grupper av percentiler. Genom att jämföra hur kvinnor och män har belönats med excellensbidrag går det att utvärdera det svenska forskningssystemet: är det könsneutralt eller inte? SBD visar hur stor andel av topp10 procent svenska forskare (ca. 4 800 personer) som är kvinnor och detta kan relateras till hur excellensbidrag fördelats: Resultatet av vår undersökning är att systemet har uppenbara brister: medan andelen kvinnor är 30 procent av topp10 är endast 18 procent mottagare av excellensbidrag.

Den andra rundan av resultat strävar efter att förklara skillnader (och likheter) i nationell framgång inom forskning med hög kvalitet, det vill säga den forskning som påverkar fronterna och som påverkar samhället. Här används indikatorn topp10 procent mest citerade artiklar för OECD-länder.

Hur fördelar sig nationer över antalet artiklar och hur förhåller sig detta till insatta resurser? Våra undersökningar visar att pengarna (forskningsmedlen) förklarar 80 procent av utfallet, men att det finns ett handlingsutrymme med avseende på bland annat publiceringsincitament och att forskarnas upplevelse av autonomi är av oväntat stor betydelse. Flera andra intressanta hypoteser har tagits fram som behöver testas av ny forskning: hursomhelst framstår det som ett viktigt resultat att länder som har låg externfinansiering (det vill säga hög direktfinansiering) generellt sett har bättre resultat och högre utväxling på resurserna.

Den tredje rundan av resultat har utnyttjat det faktum att finansiärer tackas av författarna i tidskriftsartiklar. Genom att systematiserat arbeta med denna information och harmonisera uppgifterna om finansiärer har vi kunnat undersöka hur olika finansieringsinstrument och olika finanseringsmodeller påverkar forskningens kvalitet och resultat. Slutsatserna pekar mot att finansiärer som förmår att identifiera de forskare och forskargupper som samarbetar över internationella gränser får bättre kvalitet och mer resultat av insatta resurser.

Övergripande: För samtliga dessa resultat gäller att kvantitet är en grundläggande faktor för framgång. Endast de forskare som försöker många gånger på publiceringsmarknaden får fram atypiska kombinationer som väcker uppmärksamhet hos kollegerna och omskapar forskningsfronterna. Detta ligger till grund för samtliga dessa resultat och huvudartikeln för detta publicerades i november av PlosOne. De bibliometriska metoderna för detta är förhållandevis nya och ännu ganska okända i breda lager av forskare. Vi går från medelvärden till percentiler och använder storleksberoende indikatorer.

En uppföljande studie vidareutvecklar frågan med riktning mot fenomenet könsskillnader inom vetenskapen: Analysen visar att kvantitet gör skillnad, även för kvinnor men kvinnor är påfallande underrepresenterade i gruppen mycket produktiva forskare.

En ytterligare spin-off tar det kanske mest uppmärksammade forskningsresultatet inom området som utgångspunkt Australien och den prestationsbaserade forskningsfinansieringen. Det har blivit en sanning att de incitament som infördes i Australien i mitten av 1990-talet ledde till en publiceringsexplosion som resulterade i lågciterade artiklar som gav en sämre australisk forskning. När vi gör en re-analys av data visar det sig att dessa resultat kan ifrågasättas och att högre produktivitet i själva verket resulterat i en ännu större ökning av högt citerade artiklar - och således en ökning av kvaliteten i australisk forskning. Följaktligen kan vi dra slutsatsen att prestationsbaserade incitament verkar vara en förhållandevis bra forskningspolitik, och vi bör undersöka dessa system med helt öppna sinnen.

Projektet har varit mycket produktivt och publicerat flitigt. Den första rundan av resultat har avrapporterats i Journal of Informetrics, Scientometrics, Journal of Scientometric Research, Research Evaluation och i RJ:s jubileumsskrift 2015. Det andra resultatet har presenterats som konferensbidrag (ISSI 2014) och i RJ:s jubileumsskrift 2015 samt publiceras under 2017 i någon av de nämnda tidskrifterna. Det tredje resultatet har presenterats som konferensbidrag 2015 och kommer att publiceras under 2017 i internationell tidskrift. Det övergripande resultatet som är en grundsten är projektets hittills viktigaste och mest uppmärksammade resultat har publicerats i PlosOne. Artikeln har efter ett par månader fått mer än 5 000 nedladdningar, omskrivits i THE och i andra tidningar samt fått en omfattande spridning i sociala medier.