Slutredovisning av anslag för GRASP-projektet (Skolgångens och ålderns relativa betydelse för intellektuella prestationer; Dnr J2004-0117:1).

Forskningsprojektets övergripande syfte var att studera skolgångens och ålderns relativa betydelse för utvecklingen av intellektuella prestationer, vilket inte har frångåtts vid genomförandet av projektet. 

I planen beskrevs att arbetet skulle genomföras som tre delprojekt: 1) effekter av selektiva bortfall på bestämning av ålderseffekter undersöks och linearitetsantagandet utsätts för prövning; 2) homogeniteten av effekten av ålder inom årskurserna 3 och 6 skattas och på grundval av dessa resultat beräknas den relativa betydelsen av skolgång; och 3) resultat från det militära inskrivningsprovet utnyttjas för att separera betydelsen av ålder och skolgång för utvecklingen av intellektuella prestationer. Vad gäller de tre delprojekten har verksamheten bedrivits i nära anslutning till den ursprungliga projektplanen, även om vissa ändringar har bedömts som rimliga med tanke på projektets framåtskridande.  

Som ett första steg i projektarbetet genomfördes analyser i avsikt att undersöka effekterna av selektiva bortfall på bestämningen av regressionskoefficienterna, baserade på populationsdata omfattande avgångskohorterna (årskurs 9) 1989-2001. Resultaten visar att omfattningen av över- respektive underåriga elever varit relativt konstant, d.v.s. ca 0.8% underåriga och ca 2.4% överåriga över kohorterna, med undantag för de två sista, vilket har sin grund ändrade regler för skolstart. Dessa två kohorter uteslöts från vidare analyser. Resultaten talar för att ålderseffekten är lineär. Resultaten ger också stöd för antagandet om selektionseffekter som leder till att regressionen av prestation på ålder underskattas, vilket medför en överskattning av effekten av skolgång. Att bygga en modell som kontrollerar för dessa selektionseffekter visade sig dock vara en svårare uppgift. Genom internationella kontakter har det framkommit att motsvarande försök har gjorts av andra forskare, men att ingen ännu har nått en fullt ut tillfredsställande lösning på problemet. Detta gjorde att jag lade denna delstudie, och delstudie 2, som är direkt beroende av en sådan modell, tillfälligt åt sidan. De resultat som hitintills har framkommit är inte av en sådan dignitet att de har resulterat i någon publikation. Dock har jag ingalunda givit upp möjligheten att utveckla en modell som kontrollerar för selektionseffekter, även om lösningen på problemet inte kan beskrivas inom ramen för denna redovisning. 

Delstudie 3 har däremot genomförts helt enligt planerna, vilket har resulterat i en presentation vid en internationell forskningskonferens (1) och en artikel publicerad i en välrenommerad internationell tidskrift (2). I kommunikationen med tidskriftens redaktör framfördes önskemål om en meta-analys av de studier som har publicerats inom området, och jag blev inviterad att sända in en sådan artikel. Studien är på god väg i det att en omfattande sökning har genomförts, vilken resulterade i drygt 100 studier vars publikationsår sträcker sig från 1930-talets början fram till dags dato. Jag har införskaffat artiklarna och arbetar nu med granskning och urval enligt fastställda kriterier, ett arbete som på grund av den stora mängden stoff har dragit ut på tiden. Avsikten är dock att arbetet ska slutföras så snart som möjligt (3). 

Då jag fick kännedom om att det inom TIMSS 95 (Third International Mathematics and Science Study) finns data som omfattar kunskapsprov i matematik och naturkunskap (science) för tre konsekutiva årskurser (åk 6, 7 och 8) applicerades regressionsdiskontinuitetsdesignen även på dessa data (4). Förutom att valet av data passar väl för problemet ger det också, genom konferensen IRC 2008, som är fokuserad på de komparativa studierna, ytterligare möjligheter att diskutera såväl resultat som metodfrågor i ett internationellt sammanhang (5).    

De viktigaste resultaten har genererats inom delprojekt 3. Med utgångspunkt i den ansats som har karaktäriserats som den mest kraftfulla för att separera effekter av ålder och skolgång, den s.k. regressionsdiskontinuitetsdesignen, har en ny optimal design (the continuous age/continuous treatment method eller CC-metoden) utvecklats och med framgång testats. Denna design är inte behäftad med de kända problem som är förknippade med föregångaren, vilken bygger på flera antaganden: att alla elever födda under ett visst år också börjar skolan samma år; att uppflyttning till nästa årskurs enkom är en funktion av ålder; samt att regressionen av prestation på ålder är linjär. Nackdelen med den utvecklade metoden är att den förutsätter data som innebär att ålder och mängden utbildning varierar oberoende av varandra. Sådana data finns dock tillgängliga från de militära inskrivningsproven, som i allmänhet genomförs under det år personen fyller 18 år, men där testtillfället är slumpmässigt under det halvår personen fyller 18 år. Detta medför att ålder och omfattningen av skolgången varierar oberoende av varandra.  

Resultaten visar att utbildning har en positiv effekt på utvecklingen av kognitiva förmågor, och att effektens storlek är i enlighet med vad man har funnit med hjälp av andra analysmetoder. De visar också att mönstret av differentierade effekter av utbildning på olika test matchar det huvudsakliga innehållet i olika utbildningsprofiler. Det mest uppseendeväckande resultatet är dock den negativa ålderseffekten på det test som mäter Gf (förmåga att lösa nya komplexa problem eller dekontextualiserad resonemangsförmåga), vilket kan tala för att den biologiskt betingade nedgången i Gf startar tidigare än vad man utifrån tidigare studiers resultat haft anledning att anta. Den totala effekten på Gf-testet är dock kraftigt positiv, vilket kan tolkas som att den biologiskt betingade nedgången faktisk starar tidigare men att den maskeras av en betydande utbildningseffekt. Dock behöver resultaten från denna studie replikeras på motsvarande test men också utvidgas till andra test innan en mer säker slutsats kan dras.          

En av de fundamentala frågorna som inställer sig är huruvida resultaten speglar en verklig utveckling av intellektuella prestationer eller om de enbart är uttryck för förbättrade test-färdigheter. Denna fråga kan inte besvaras utan att de mekanismer genom vilka utbildning utvecklar kognitiva förmågor har klarlagts. En annan fråga som är av stort intresse att gå vidare med är om den biologiskt betingade nedgången i Gf faktiskt startar före 20 års ålder, och inte efter 20 års ålder som är den för tillfället allmänt omfattade uppfattningen.    

Publikationen “Effects of age and schooling on intellectual performance: Estimates obtained from analysis of continuous variation in age and length of schooling” presenterar en ny metod som ger en optimal möjlighet att bestämma den relativa betydelsen av ålder och skolgång och de presenterade resultaten innebär en nyansering av tidigare erhållna resultat. Både metodutvecklingen och de innehållsliga resultaten utgör därför viktiga bidrag till kunskapsutvecklingen inom forskningsfältet.  

Den meta-analys som tillkommit som en följd av framgångarna med denna publikation kan också förväntas få stor uppmärksamhet och betydelse för forskningsfältet. 

Projektet har presenterats vid ett seminarium, anordnat av Statistiska Centralbyrån och institutionen för pedagogik och didaktik, Göteborgs universitet, Stockholm, SCB, november 2004. Seminariet riktades till bl.a. forskarsamhället, utbildningsdepartementet, berörda verk och Lärarförbunden. 

Projektets resultat presenterades vid en informationsdag om UGU-projekte, Stockholm, Utbildningsdepartementet, oktober 2007. Seminariet var riktat till samma grupp som beskrivits ovan men också till en vidare krets som t.ex. representanter för Vetenskapsrådet, andra departement och Sveriges kommuner och landsting.

Projektet och dess resultat har också presenterats i föreläsningssammanhang inom högskoleutbildningar.

Länken till hemsidan är: http://www.ipd.gu.se/english/research/projects/grasp/

The final audit for the grants received for the GRASP-project (Effects of age and schooling on the development of intellectual performance; Dnr J2004-0117:1).

The main purpose of the project, which was to gain further knowledge about the effects of age and schooling on the development of intellectual performance through the use of more powerful methods and more appropriate data than have been used previously, has not been deviated from in the conduct of the project.

The project was intended to be carried out within the framework of three sub-projects, the specific purposes of which were to study: 1) the effects of selection effects on the estimated within-year regression coefficients, and to test the assumption of linearity; 2) the homogeneity of the regression of achievement on age, and to control for both selection effects and attrition resulting from the collection of  longitudinal data; and 3) the relative amount of influence of age and differential effects of schooling on different aspects of intellectual performance, by the use of a design relying on simultaneous variation in age and amount of schooling. Regarding the three sub-projects, the work has been conducted in close accordance with the stipulated plan, although, with regard to the progress of the project, a number of strategic modifications were judged to be necessary.

At an initial stage of the work undertaken on the project, analyses were conducted in order to investigate the selection effects on the estimated within-year regression coefficient, based on population data comprising the graduating cohorts (grade 9) for the period 1989-2001. The results show that the proportion of under- and over-aged students was relatively constant – about 0.8% under-aged and 2.4% over-aged –  over the cohorts, with the exception of the final two cohorts, where changes in the regulations relating to school attendance were made. These two cohorts were excluded from further analyses. The results indicate that the regression of intellectual performance on age is linear. The results also support the assumption of selection effects, implying that the regression on age will be underestimated, which means an overestimation of the effect of schooling. However, the goal of constructing a model with the capacity to control for such selection effects proved to be a challenge that was substantially more demanding. Through international contacts, it emerged that, whilst corresponding attempts have been made by other researchers, to date a satisfactory solution of the problem continues to remain elusive. Accordingly, this sub-project, and indeed sub-project 2, which is premised on the availability of such a model, has been, temporarily put on hold, for the present time at least, until an unspecified point of time in the future. The results that have been attained to date are not of a calibre that merits international publication. However, the challenge has not been abandoned, even if a solution does not lie within the scope of the current project.  

The third sub-project has, however, been carried out entirely according to plan and has resulted in a conference presentation (1) and an article published in a prestigious international journal (2). In communication with the editor of the journal a desire for a meta-analysis of the studies published within the field to date was expressed, and I have been invited to submit such an article. Indeed, this study is currently underway in that an extensive search has been performed, providing in excess of 100 studies with years of publication dating from the beginning of the 1930s up to the present. These articles have been procured and work relating to the review and selection of these studies according to a set of fixed criteria – is currently underway (a process which, it should be pointed out, is extremely time-consuming due to the sheer numbers involved). The intention, however, is that this work will be completed as soon as possible (3). 

When it came to my knowledge that TIMSS 95 (Third International Mathematics and Science Study) comprises achievement tests in mathematics and science for three consecutive grades (6th, 7th and 8th) the regression discontinuity design was additionally applied to these data (4). In addition to the fact that the choice of data is well-suited to the problem, it also provides, through the auspices of the 2008 IRC Conference, which has a special focus on comparative studies, further opportunities to discuss both results and methodological problems in an international context (5).    

The most important results have been produced within sub-project 3. Based on the approach which has proven to be the most powerful in separating the effects of age and schooling, the so-called between-grades regression discontinuity design, a new optimal design (the continuous age/continuous treatment method or the CC-method) has been developed and successfully tested. This design is not burdened with the known problems associated with its predecessor, which relies on a number of assumptions, namely: that children in a given class are randomly allocated to birth dates, and that that admission to school is based solely on chronological age; that grade levels are solely a function of chronological age (i.e., progression through grades is automatic); and that the regression of intellectual performance on age does not deviate from linearity. The disadvantage with the current design is that it presupposes data which imply that age and schooling vary independently. However, such data is available from the military enlistment test battery, which is carried out randomly, normally during a point in the six-calendar month period during which the individual becomes 18 years old. Thus, since age and schooling vary independently of each other, this makes it possible to estimate the relative influence of age and schooling on the intellectual performance of the individual as measured by the military test battery.   

The results show that education has a positive effect on intellectual performance, and that the size of the estimate corresponds well with the results of previous research using other designs. The results also reveal a pattern of differential effects on different tests that matches the curricular emphasis of the different programs. However, the most noteworthy result to be obtained is the negative effect of age on performance on the test measuring Gf (ability to reason and think in new situations, or decontextualised reasoning ability), which indicates that the biologically determined decline of Gf may start earlier than had previously been thought. The total effect on the Gf-test is, however, strongly positive, which may indicate that the biologically determined decline in fact starts earlier but is invisibilised due to the masking of  a considerable educational effect. However, this result needs to be replicated and extended to other tests before it is possible to make any stronger conclusions.           

One of the fundamental questions in this field of research is whether the increased results reflect real improvements in intellectual performance, or whether they are simply test-score improvements. This is a question that cannot be answered unless the mechanisms through which education exerts its effects on intellectual performance have been identified and accounted for. Another question of considerable interest for further investigation, is whether the biologically determined decline on Gf actually starts before, and not after the age of 20, which is currently the generally-held opinion.     

The article “Effects of age and schooling on intellectual performance: Estimates obtained from analysis of continuous variation in age and length of schooling” presents a new design which offers an optimal opportunity to estimate the relative importance of age and schooling on intellectual performance. Further, the results presented in the article provide a more nuanced understanding of the phenomenon than the results of any study published to date. Both the development of the design and the content of results constitute important contributions to the development of knowledge within the field.  
The meta-analysis, which is a consequence of the successful publication in Intelligence, may also be expected to be of considerable importance within the research field and is thus likely to attract widespread attention.  

The project was presented at a seminar, organized by Statistics Sweden and the Department of Education, University of Gothenburg in Stockholm at Statistics Sweden in November 2004. The seminar was directed towards the research society, the Ministry of Education, the National Agency for Education, the National Agency for Higher Education and the teaching unions. 

Results from the project were presented at a seminar presenting the ETF-project, at the Ministry of Education, Stockholm, in October 2007. This seminar, whilst directed to similar groups as above, was also opened to wider circles, such as the National Research Council, other ministries, and the Associasion of Local Authorities and Regions. 

The project and its results have also been presented generally through lectures within higher education. 

The URL to the website is: http://www.ipd.gu.se/english/research/projects/grasp/