Så kom den reviderade rapporten från skolverket. Den första versionen drogs in och den tämligen nytillträdde skolminister Baylan anklagades för ministerstyre. Den beryktade slutsatsen i rapporten var att obehöriga lärare var bättre än behöriga. Hur kan man komma fram till ett sånt resultat? Jo, genom att sätta likhetstecken mellan produktionsresultat och betyg.
Men kan man överhuvudtaget utvärdera en skolas arbetsinsats utifrån betygen som de sätter? Nej, det är ett högst tveksamt mått på kvalitet. Men nu är det inte kvalitet som skolverket är ute efter att mäta utan effektivitet, närmare bestämt relativ effektivitet. Den relativa effektiviteten ska visa hur mycket output (betyg) vi får utifrån input (lärarkompetens och elevsammansättning). Detta är tveksamt av flera skäl.
Det bästa sättet att vara effektiv är att skaffa bra råmaterial som inte behöver bearbetas utan som kräver en minimal process inför leverans. Ändå är skolpengen densamma för en duktig elev som för en sämre.
"Vi har valt en output-orienterad DEA-modell eftersom det bör vara skolans huvudsakliga strävan att förbättra elevernas resultat givet sin budgetram. ... DEA kan därför något förenklat uttryckt beskrivas som en metod för att mäta skolors prestation i förhållande till ”best practice”, dvs. skolans prestation i förhållande till den skola som lyckas bäst med samma resursram." (S. 7f)
Skolverket förklarar mycket noggrant hur man mäter avstånd på y-axeln, men mycket lite om modellens grundantaganden och dess kvantitativa metoders brister för att analysera och utvärdera en verksamhet som är kvalitativ till sin natur. Däremot påpekas att vissa mål som skolan har inte ryms inom ramen för studien, såsom skolans mål för värden och normer (värdegrundsmålen) som ligger utanför betygen. Å andra sidan skriver skolverket att det går att inom ramen för en DEA-analys fånga kvalitativa aspekter - men sedan i en fotnot skriver de:
"I dagsläget saknas dock mått på mer kvalitativa aspekter av skolan i det nationella uppfäljningssystemet [sic!]." (S. 27)
Höga slutbetyg ska i teorin spegla om eleven når upp till kraven som ställs. Men det är också en fråga om tolkning. Tolkning av kraven, tolkning av elevens kompetens i ämnet. Detta problem som enskilda lärare hanterar menar man jämnar ut sig när man använder den enskilda skolan som mätenhet.
På en konkurrensutsatt marknad, som grund- och gymnasieutbildning faktiskt är, blir betygen ett konkurrensmedel. Höga slutbetyg drar till sig elever till skolan. Om jag vet att höga betyg genererar intäkter till skolan finns det en ekonomiskt incitament till att sätta höga betyg. Och vet skolan dessutom att detta används som ett mått på kvaliteten, effektiviteten eller "output" i undersökningar och utvärderingar finns det än större anledning att trycka på lärarna att inte tveka att sätta ett högre betyg.
Att sätta höga betyg kan vara ett sätt att mörka sin oskicklighet. Jag vickade för en lärare som genomgående satt en betygsgrad högre än vad jag i samråd med mina lärarkollegor ansåg att eleverna skulle fått. Idag är lojala lärare som följer skolledningens anvisningar att inte underkänna elever en tillgång. Och en obehörig lärare är mer beroende av sin arbetsgivares gillande än en behörig och blir därmed mer lojal med de riktlinjer (eller diktat) som skolledningen ger i betygsfrågor. Därför måste man också ifrågasätta slutsatsen varför friskolor är bättre än andra skolor - tack vare eller trots en högre andel obehöriga lärare.
Som sagt, betyg speglar inte nödvändigtvis kvaliteten i undervisningen och skolans arbete.
Men vad är egentligen slutsatserna från skolverkets rapport? Jo, att det är
... en liten spridning i den relativa effektiviteten mellan skolor. Detta är föga förvånande då Sveriges grundskolor i ett internationellt perspektiv har en liten variation i studieresultat mellan skolor. (S. 16)
Vad gäller inflytandet av pedagogisk examen så finner man inget samband.
"Något förvånande visar regressionsanalysen inget samband mellan relativ effektivitet och pedagogisk högskoleutbildning samt adekvat utbildning för tjänsten. Vissa tidigare effektivitetsstudier på skolområdet har inte heller kunnat påvisa något samband mellan relativ effektivitet och andelen lärare med pedagogisk högskoleutbildning." (S. 26)
Men det betyder ju bara att personer utan pedagogisk examen sätter minst lika höga betyg som de med examen. Eftersom det bara är betyget man mäter som mått på skolans output, så är det den enda slutsatsen man kan dra.
Vad som är extra intressant är att konkurrensutsatta kommuner visar högre effektivitet, dvs både de kommunala skolorna och de fristående skolorna i kommunen har högre betyg med hänsyn tagen till input-faktorerna (lärartäthet och elevernas socioekonomiska och etniska bakgrund):
"I linje med en tidigare effektivitetsstudie av svenska grundskolor erhålls en positiv samvariation mellan relativ effektivitet och andelen elever i fristående skolor. Det innebär att skolor som ligger i kommuner med en hög andel elever i fristående grundskolor ... i genomsnitt har högre relativ effektivitet än andra skolor. ... Analysen visar också att fristående skolor i genomsnitt har högre relativ effektivitet än kommunala skolor. Detta kan vara en effekt av så kallad cream skimming, dvs. positiv selektion av elever." (S. 26)
Ett annat problem som man tar upp i rapporten är att
"skolor med en hög andel elever som invandrat till Sverige efter sju års ålder har en lägre relativ effektivitet ... Skolor med hög andel av dessa elever tilldelas även extra resurser utan att detta kortsiktigt resulterar i motsvarande höga resultat." (S. 26)
Avslutningsvis kommenterar skolverket resultaten i rapporten:
"Att vi inte hittar något samband [mellan pedagogisk examen och betyg] kan bero på att begreppet pedagogisk högskoleutbildning är ett grovt begrepp som inte tar hänsyn till om läraren har utbildning i det ämne som denne undervisar i. Lärarkompetensens stora betydelse för elevernas utbildningsresultat är emellertid väl belagd i forskningen. Frånvaron av samband mellan variablerna i denna analys kullkastar inte dessa forskningsresultat men bör bli föremål för fortsatt analys.
Vidare visar regressionsanalysen att fristående skolor samt skolor (oavsett huvudman) som ligger i kommuner med en hög andel elever i fristående grundskolor har en högre relativ effektivitet. Även här är viss försiktighet påkallad när det gäller tolkning och slutsatser." (S. 30)
Vad lär vi oss i skolan? Vad ska vi lära våra elever? Tro inte på allt du ser och hör. Gå till källan och var kritisk!