Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

Uddannelsesudvalget 2013-14
SB 5 7
Offentligt

Notat til Statsrevisorerne om

beretning om udviklingen af

de nationale test

April

2014

Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

FORTSAT NOTAT TIL STATSREVISORERNE

Opfølgning i sagen om beretning om udviklingen af de nationale test

(beretning nr. 5/2009)

10. april 2014

RN 1102/14

1. Rigsrevisionen følger i dette notat op på sagen om udviklingen af de nationale test, som

blev indledt med en beretning i 2010.

Sagsforløb for en større

undersøgelse

Beretning

KONKLUSION

Rigsrevisionen finder samlet set Undervisningsministeriets initiativer i forbindelse med

de nationale test tilfredsstillende og vurderer, at sagen kan afsluttes.

Rigsrevisionen baserer konklusionen på følgende:



Undervisningsministeriet har gennemført evalueringen af de nationale test, som

det fremgik af lovgrundlaget, at de skulle.

Evalueringen viser, at testene har haft en positiv effekt på elevernes faglige niveau,

og at de i nogen grad har bidraget til at styrke skolernes evalueringskultur. Evalue-

ringen viser dog også, at der stadig er forbedringspotentiale i forhold til testenes

anvendelse, effekt, indhold og udformning.

Undervisningsministeriet har iværksat en lang række initiativer som opfølgning på

evalueringens resultater og anbefalinger og er i gang med at forberede drøftelsen

af en række øvrige spørgsmål om de nationale test med forligskredsen, som føl-

ger af aftalen om et fagligt løft af folkeskolen.

Undervisningsministeriet burde dog tidligere have taget initiativ til at igangsætte

supplerende undersøgelser med henblik på at belyse elevernes kundskaber og

færdigheder i udvalgte fag og på udvalgte klassetrin inden for områder, der ikke

er omfattet af testene.

Ministerredegørelse

§ 18, stk. 4-notat

Eventuelt

fortsat(te) notat(er)



Sagen afsluttes

Du kan læse mere om

forløbet og de enkelte step

på www.rigsrevisionen.dk



Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

Baggrund

2. Statsrevisorerne anmodede i februar 2009 Rigsrevisionen om at undersøge udviklingen

af de nationale test, fordi udviklingen og driften af testene havde været mere problemfyldt

og arbejdskrævende end forventet. Rigsrevisionen afgav efterfølgende i januar 2010 en be-

retning om udviklingen af de nationale test.

Rigsrevisionens beretning viste, at Undervisningsministeriets styring af projektet havde væ-

ret god. Rigsrevisionen kunne samtidig konstatere, at leverandøren gennem hele projektet

ikke havde kunnet levere som aftalt. Beretningen viste dog også, at ministeriet med en me-

re fyldestgørende forberedelse kunne have skabt bedre rammer for projektets gennemførel-

se.

3. Da Statsrevisorerne behandlede beretningen, bemærkede de, at de ikke fandt det helt

tilfredsstillende, at ibrugtagningen af de nationale test var blevet forsinket. De første obliga-

toriske nationale test skulle have været taget i brug i maj 2007, men blev først afviklet i for-

året 2010.

4. Som svar på beretningen afgav undervisningsministeren i maj 2010 en redegørelse til

Statsrevisorerne. Af redegørelsen fremgik det, at ministeren tog Statsrevisorernes bemærk-

ninger til efterretning. Ministeren var opmærksom på, at projektet fra start var underlagt en

stram tidsplan, og at der kunne have været udarbejdet mere omfattende økonomiske analy-

ser som grundlag for beslutningen om projektets gennemførelse.

5. På baggrund af ministerredegørelsen afgav Rigsrevisionen i juni 2010 et notat i henhold

til rigsrevisorlovens § 18, stk. 4, hvoraf Rigsrevisionens planer for den videre opfølgning på

beretningen fremgik. Notatet findes i Endelig betænkning over statsregnskabet for 2010. Det

fremgik af notatet, at Rigsrevisionen ville følge udviklingen på 3 punkter:



Skolestyrelsens anvendelse af bod og kompensation i forhold til den eksterne leverandør,

herunder de udgiftsmæssige konsekvenser

Skolestyrelsens vurdering af, om opgavebankens størrelse lever op til kontraktens krav

Undervisningsministeriets tilrettelæggelse og risikostyring i forbindelse med videreførel-

sen af testene efter den 31. maj 2011.

6. I januar 2012 afgav Rigsrevisionen et notat til Statsrevisorerne, der fulgte op på de 3 punk-

ter. Notatet findes i Endelig betænkning over statsregnskabet for 2011. Rigsrevisionen vur-

derede, at sagen kunne afsluttes for så vidt angik 2 af punkterne, men fandt, at det 3. punkt

(resultatet af Kvalitets- og Tilsynsstyrelsens overvejelser om økonomiske sanktioner over

for den eksterne leverandør som følge af problemerne konstateret i november 2012) kræ-

vede yderligere opfølgning.

7. I september 2012 afgav Rigsrevisionen derfor endnu et notat, der fulgte op på Kvalitets-

og Tilsynsstyrelsens eventuelle sanktioner over for den eksterne leverandør. Notatet findes

i Endelig betænkning over statsregnskabet for 2011. Rigsrevisionen fandt det tilfredsstillen-

de, at styrelsen havde afsøgt mulighederne for økonomiske sanktioner over for den ekster-

ne leverandør og på baggrund af overvejelserne havde indgået forlig med leverandøren.

Rigsrevisionen fandt på den baggrund, at beretningssagen kunne afsluttes.

8. Da Statsrevisorerne behandlede notatet, besluttede de imidlertid, at beretningssagen ik-

ke skulle afsluttes, før Statsrevisorerne havde modtaget en orientering fra Rigsrevisionen

om resultatet af den planlagte evaluering af de nationale test.

9. Rigsrevisionen orienterer i dette notat om Undervisningsministeriets initiativer i forbindel-

se med de nationale test, herunder resultatet af evalueringen.

Hele sagen og dens dokumenter kan følges på www.rigsrevisionen.dk og på

www.ft.dk/Statsrevisorerne.

Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

II.

Undervisningsministeriets initiativer i forbindelse med de nationale test

10. Ifølge lovgrundlaget for de nationale test skulle undervisningsministeren 3 år efter ikraft-

trædelsen af de første test over for Folketinget redegøre for virkningerne af testene og vur-

dere behovet for eventuelle ændringer.

Rigsrevisionen har gennemgået Undervisningsministeriets redegørelse fra december 2013

til Folketinget om de nationale test i folkeskolen, evalueringen af de nationale test og rele-

vant lovgrundlag. Vi har endvidere brevvekslet med ministeriet.

I det følgende redegøres for Undervisningsministeriets initiativer i forbindelse med de natio-

nale test, herunder:



resultatet af evalueringen og ministeriets opfølgning på anbefalingerne

ministeriets øvrige initiativer som følge af aftalen om et fagligt løft af folkeskolen

status i forbindelse med socioøkonomisk reference og supplerende undersøgelser.

Resultatet af evalueringen og Undervisningsministeriets opfølgning på anbefalingerne

Evalueringens formål og samlede konklusion

11. Formålet med evalueringen har været at vurdere, om de nationale test som pædagogisk

værktøj har styrket skolernes evalueringskultur og højnet elevernes faglige niveau. Derud-

over skulle evalueringen belyse positive og negative effekter af indførelsen af de nationale

test i forhold til formålet med testene, jf. boks 1.

BOKS 1. FORMÅLET MED DE NATIONALE TEST

Formålet med indførelsen af de nationale test var at styrke evalueringskulturen i folkeskolen som et

vigtigt element til at løfte elevernes faglige niveau. Testene blev indført som et pædagogisk værktøj,

der – sammen med resultaterne af den øvrige løbende evaluering af elevens tilegnelse af kundska-

ber og færdigheder – skulle anvendes fremadrettet til brug for den videre planlægning af undervisnin-

gen og i forbindelse med vejledningen af den enkelte elev og underretningen af forældrene. Formålet

var at tilrettelægge en undervisning og et forældresamarbejde, der understøtter eleven bedst muligt.

I evalueringen besvares følgende spørgsmål:



Hvordan anvender lærere og skoleledere de nationale test?

Har de nationale test haft en positiv effekt på elevernes faglige niveau og på skolernes

evalueringskultur?

Er valg af testfag og profilområder (fx test af geometri i matematik) hensigtsmæssige?

Fungerer udformningen af testene på tilfredsstillende vis?

12. I overensstemmelse med lovgrundlaget er evalueringen gennemført 3 år efter, at de na-

tionale test blev taget i brug. Ifølge Undervisningsministeriets redegørelse til Folketinget er

det en tidlig evaluering af testenes virkning, hvorfor resultaterne må fortolkes med en vis for-

sigtighed. Desuden betyder det, at evalueringen af testenes effekt på elevernes faglige ni-

veau kun er sket på baggrund af testen i dansk (læsning).

Evalueringen bygger bl.a. på analyser af elevers resultater fra de obligatoriske nationale test,

spørgeskemaundersøgelser samt på interviews med skoleledere, lærere, forældre, elever,

forvaltningsrepræsentanter og ekspertvurderinger.

Eleverne skal i løbet af deres

skoletid gennemføre 10 obliga-

toriske test inden for dansk

(læsning), matematik, engelsk,

geografi, biologi og fysik/kemi.

Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

13. Evalueringens samlede konklusion er, at de nationale test har haft en positiv effekt på

elevernes faglige niveau, og at de nationale test i nogen grad har været en medvirkende år-

sag til den styrkede evalueringskultur, der har udviklet sig i folkeskolen i de senere år.

Derudover indeholder evalueringen en lang række konklusioner og opmærksomhedspunkter

vedrørende testenes anvendelse, effekt, indhold og udformning, som vi nedenfor redegør

for.

Konklusioner vedrørende testenes anvendelse, effekt, indhold og udformning

14. Med hensyn til testenes

anvendelse

viser evalueringen, at lærerne og skolelederne pri-

mært anvender testresultaterne til at skabe oveblik over og monitorere det faglige niveau

blandt elever, klasser og skolen som helhed, og kun i mindre grad til at tilrettelægge en un-

dervisning, der tager udgangspunkt i den enkelte elev.

Undervisningsministeriet fremhæver derfor i redegørelsen til Folketinget en række initiativer

i forbindelse med aftalen fra juni 2013 om et fagligt løft af folkeskolen, der efter ministeriets

vurdering vil understøtte, at testresultaterne i højere grad også anvendes til at tilrettelægge

undervisningen over for den enkelte elev. Initiativerne omfatter bl.a.:



styrket vejledningsindsats over for skoler og kommuner for at understøtte lærernes og

skoleledernes anvendelse af testresultater til planlægning af undervisningen og som

grundlag for individuel feedback til eleven

etablering af ordning med læringskonsulenter, der tilbyder at vejlede skolerne om anven-

delse af evalueringer og testresultater

forenkling og videreudvikling af elevplanen, så den i højere grad opleves som et relevant

redskab i forhold til at understøtte systematisk og løbende evaluering.



15. Med hensyn til testenes

effekt

indikerer analysen, at indførelsen af de nationale test har

haft en positiv effekt på elevernes faglige resultater. Undersøgelsen tyder på, at det både

skyldes, at lærere og elever har brugt testresultaterne til at arbejde på at blive dygtigere til

faget, og at eleverne med tiden bliver bedre til at gennemføre test i det hele taget.

Evalueringen af testenes effekt tyder også på, at skolernes evalueringskultur er blevet styr-

ket, og der er flere indikationer på, at de nationale test har medvirket hertil, idet de har un-

derstreget fokus på faglige resultater og bidraget til en større systematik i skolernes evalu-

ering. Det fremgår dog samtidig af evalueringen, at den styrkede evalueringskultur ikke kan

tilskrives de nationale test alene.

16. Med hensyn til testenes

indhold

konkluderer evalueringen, at valg af testfag og profil-

områder samlet set synes hensigtsmæssige. Det anbefales dog at genoverveje antallet af

test og placeringen på klassetrin med henblik på at understøtte den pædagogiske anven-

delse af testresultaterne. Fx bør det overvejes, om det er hensigtsmæssigt, at der fremover

vil gå 7 år, før eleverne testes i engelsk, når de fra 2014/15 skal undervises i engelsk fra

1. klasse. Desuden peger flere lærere på, at testen i nogle fag gennemføres for sjældent til

at give mening som pædagogisk redskab.

Undervisningsministeriet oplyser i den forbindelse i redegørelsen til Folketinget, at ministe-

riet vil drøfte spørgsmålet om en eventuel justering af den nuværende placering af test på

fag og klassetrin med forligskredsen i løbet af 2014.

Derudover påpeger evalueringen, at der inden for flere testfag er mangel på svære opga-

ver i opgavebanken.

Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

Undervisningsministeriet oplyser i redegørelsen til Folketinget, at der løbende foregår udskift-

ning af gamle og produktion af nye testopgaver. Således har ministeriets opgavekommissio-

ner (som består af folkeskolelærere med undervisningserfaring og undervisere ansat på læ-

reruddannelsen) gennemgået opgavebanken og er for indeværende i gang med sikre, at al-

le opgaver er af høj sproglig og faglig kvalitet. I forbindelse med faget dansk (læsning) har

ministeriet desuden igangsat et udviklingsarbejde i samarbejde med en læseforsker, ligesom

der er planlagt et kompetenceudviklingsforløb med fokus på testmetode og -produktion for

alle medlemmer af opgavekommissionerne. Endelig vil ministeriet løbende have fokus på

at sikre, at der er et tilstrækkeligt antal testopgaver på de forskellige niveauer, herunder at

der er svære opgaver nok.

17. Med hensyn til testenes

udformning

viser evalueringen, at afviklingen af de nationale

test, herunder den praktiske forberedelse, fungerer på tilfredsstillende vis. Det er dog langt

fra alle lærere, der gør brug af testsystemets mange muligheder og får omsat testresulta-

terne til en undervisningspraksis, der tager udgangspunkt i den enkelte elev. Dette skyldes

bl.a., at det kræver et relativt stort fortolknings- og analysearbejde af den enkelte lærer at

omsætte testresultaterne til en undervisningspraksis, der tager udgangspunkt i den enkelte

elev.

Som nævnt ovenfor vil Undervisningsministeriets læringskonsulenter adressere behovet for

at anvende testresultaterne til at tilrettelægge undervisningen for den enkelte elev.

Undervisningsministeriets øvrige initiativer som følge af aftalen om et fagligt løft af

folkeskolen

18. Undervisningsministeriet oplyser i redegørelsen til Folketinget, at aftalen om et fagligt

løft af folkeskolen har givet anledning til en række øvrige initiativer, som også vedrører de

nationale test. Ministeriet vil for det første supplere de normbaserede resultater med

kriterie-

baserede resultater,

så resultaterne kan anvendes til at følge udviklingen i de nationale re-

sultatmål for folkeskolen. Det tilstræbes at fastlægge niveauerne, så de svarer til PISA’s

kategorisering, så det bliver muligt at sammenholde resultaterne med de nationale test med

resultaterne fra PISA-undersøgelserne.

De kriteriebaserede resultater forventes implementeret i foråret 2014 og anvendt af alle sko-

ler fra skoleåret 2014/15. Dette forventes at bidrage til at styrke indsatsen over for den en-

kelte elev, da det medfører, at lærerens tilbagemelding på de nationale test også vil kunne

relateres til de faglige kriterier.

19. For det andet vil ministeriet drøfte spørgsmålet om

retningslinjer for fritagelse for at ta-

ge test og elevers brug af hjælpemidler

med forligskredsen. I dag er det skolelederen, der

træffer afgørelse om eventuel fritagelse for test og anvendelse af hjælpemidler for elever

med særlige behov, og evalueringen viser, at lærerne efterspørger retningslinjer og en stør-

re grad af ensretning, så testresultaternes validitet øges.

20. Ministeriet vil også drøfte spørgsmålet om

testresultaternes fortrolighed

med forligskred-

sen. Ifølge folkeskoleloven er testresultaterne fortrolige, men indførelsen af de nationale mål

for elevernes faglige mål i folkeskolen medfører, at anvendelsen af nationale test som sty-

ringsinstrument kan medføre udfordringer i forhold til, at resultater fra de nationale test er

fortrolige.

21. Derudover vil ministeriet drøfte forskellige muligheder for at håndtere

den statistiske

usikkerhed

ved de nationale test med forligskredsen, da den løbende kvalitetssikring har

vist, at den statistiske usikkerhed forbundet med resultaterne er større end hidtil antaget.

Hvor normbaserede test måler

elevernes præstationer i forhold

til andre elevers, vil en kriterie-

baseret tilbagemelding angive,

i hvilken grad eleven har nået

et bestemt fagligt niveau.

Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

22. Endelig har ministeriet iværksat en række initiativer for at styrke mål- og resultatstyrin-

gen i kølvandet på aftalen om et fagligt løft af folkeskolen. Det drejer sig om:

Måltal for folkeskolen fra 2014

Mindst 80 % af eleverne skal

være gode til at læse og reg-

ne i de nationale test.

Andelen af de allerdygtigste

elever i dansk og matematik

skal stige år for år.

Andelen af elever med dårli-

ge testresultater i de nationa-

le test for dansk (læsning)

og matematik skal – uanset

social baggrund – reduceres

år for år.

Elevernes trivsel skal øges.



nationale resultatmål, måltal og nye Fælles Mål

kompetenceudvikling af ledere og forvaltningschefer, så de rustes til at styre gennem

mål og evalueringer og anvende efteruddannelse af lærere og pædagoger strategisk til

at nå skolens mål

vejledning om målstyret undervisning samt anvendelsen af de nationale test som grund-

lag for vurdering af faglig progression og som led i kommunernes tilsyn med folkesko-

len

etablering af et webbaseret ledelsesinformationssystem, der samler relevante indikato-

rer på folkeskoleområdet

nyt koncept for kvalitetsrapporten, så den i højere grad kan understøtte en systematisk

evaluering og resultatopfølgning på kommunalt niveau.

Status i forbindelse med socioøkonomisk reference og supplerende undersøgelser

23. Ifølge lovgrundlaget for de nationale test skulle Undervisningsministeriet i sin redegø-

relse til Folketinget også redegøre for indhøstede erfaringer i forbindelse med udviklingen

af metoder til korrektion af testresultater vedrørende forhold, som skolerne ikke har direkte

indflydelse på (socioøkonomisk

reference)

og udvikling af

supplerende undersøgelser,

der

har til formål at belyse elevernes kundskaber og færdigheder i udvalgte fag og på udvalg-

te klassetrin inden for områder, der ikke er omfattet af testene.

Med hensyn til

socioøkonomisk reference

fremgår det af redegørelsen til Folketinget, at ud-

viklingen af den socioøkonomiske reference blev påbegyndt i 2007 og afsluttet i 2010. Den

socioøkonomiske reference gør det muligt for skolelederen og den givne kommune at se,

hvordan skolens elever har klaret sig i de nationale test i forhold til elever på landsplan med

samme baggrund. Undervisningsministeriet oplyser, at den socioøkonomiske reference bli-

ver beregnet for skolens elevgrundlag ud fra udvalgte faktorer på individniveau (fx køn, her-

komst, forældres uddannelse og indkomst). Det er kun skoleledere og kommuner, der har

adgang til de socioøkonomiske referencer, og ministeriet har udarbejdet vejledningsmate-

riale.

24. Med hensyn til de

supplerende undersøgelser

fremgår det af lovgrundlaget fra 2006, at

undervisningsministeren ville gennemføre supplerende undersøgelser for at belyse elever-

nes kundskaber og færdigheder i udvalgte fag og på udvalgte klassetrin inden for områder,

der ikke var omfattet af testene. Formålet var at understøtte det ønskede brede perspektiv

på elevernes kundskaber og færdigheder. Som eksempler herpå har Undervisningsmini-

steriet nævnt elevens evne til selvstændig formulering, analyse, problemorientering og -løs-

ning mv.

25. Undervisningsministeriet oplyser i redegørelsen til Folketinget, at igangsættelsen af sup-

plerende undersøgelser vil blive drøftet i forligskredsen i 2014, og at aftalen om et fagligt

løft af folkeskolen indeholder en række initiativer, som vurderes at spille sammen med hen-

sigten bag de supplerende undersøgelser. Det drejer sig fx om målet om mere varierede

undervisningsformer, projekt- og produktorienterede undervisningsforløb, indførelse af triv-

selsmål og formulering af nye Fælles Mål.

Ministeriet har efterfølgende til Rigsrevisionen oplyst, at forligskredsen skal tage stilling til,

om der måtte være behov for at gennemføre yderligere undersøgelser.

26. Rigsrevisionen vurderer, at Undervisningsministeriet tidligere burde have taget initiativ

til at igangsætte de

supplerende undersøgelser,

og finder det derfor positivt, at ministeriet

har oplyst til Folketinget, at de vil drøfte spørgsmålet med forligskredsen i 2014.

Statsrevisorerne beretning SB5/2009 - Bilag 7: Rigsrevisionens fortsatte notat af 10. april 2014

III.

Afslutning

27. Evalueringen af de nationale test viser, at de har haft en positiv effekt på elevernes fag-

lige resultater og har bidraget til at styrke skolernes evalueringskultur, men at der stadig er

forbedringspotentiale i forhold til testenes anvendelse, effekt, indhold og udformning.

Det er Rigsrevisionens vurdering, at Undervisningsministeriet på tilfredsstillende vis har

igangsat initiativer, der skal tage hånd om evalueringens anbefalinger, og forberedt drøftel-

ser med forligskredsen om forhold, der følger af aftalen om et fagligt løft af folkeskolen.

Rigsrevisionen finder dog, at ministeriet tidligere burde have taget initiativ til at igangsætte

de supplerende undersøgelser med henblik på at belyse elevernes kundskaber og færdig-

heder i udvalgte fag og på udvalgte klassetrin inden for områder, der ikke er omfattet af te-

stene.

28. Rigsrevisionen finder samlet set Undervisningsministeriets initiativer tilfredsstillende og

vurderer, at sagen kan afsluttes.

Lone Strøm