Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

Uddannelsesudvalget 2009-10
SB 5 1
Offentligt

5/2009

Beretning om

udviklingen af de nationale test

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

5/2009

Beretning om

udviklingen af de nationale test

Statsrevisorerne fremsender denne beretning

med deres bemærkninger til Folketinget og

vedkommende minister, jf. § 3 i lov om

statsrevisorerne og § 18, stk. 1, i lov om

revisionen af statens regnskaber m.m.

København 2010

Denne beretning til Folketinget skal behandles ifølge lov om revisionen af statens regnskaber, § 18:

Statsrevisorerne fremsender med deres eventuelle bemærkninger Rigsrevisionens beretning til Folketinget og vedkommende

minister.

Undervisningsministeren afgiver en redegørelse til beretningen.

Rigsrevisor afgiver et notat med bemærkninger til ministerens redegørelse.

På baggrund af ministerens redegørelse og rigsrevisors notat tager Statsrevisorerne endelig stilling til beretningen, hvilket

forventes at ske midt i august 2010.

Ministerens redegørelse, rigsrevisors bemærkninger og Statsrevisorernes eventuelle bemærkninger samles i Statsreviso-

rernes Endelig betænkning over statsregnskabet, som årligt afgives til Folketinget i april måned – i dette tilfælde Endelig

betænkning over statsregnskabet 2009, som afgives i april 2011.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

Henvendelse vedrørende

denne publikation rettes til:

Statsrevisorerne

Folketinget

Christiansborg

1240 København K

Telefon: 33 37 59 87

Fax: 33 37 59 95

E-mail: [email protected]

Hjemmeside: www.ft.dk/statsrevisorerne

Yderligere eksemplarer kan

købes ved henvendelse til:

Rosendahls-Schultz Distribution

Herstedvang 10

2620 Albertslund

Telefon: 43 22 73 00

Fax: 43 63 19 69

E-mail: [email protected]

Hjemmeside: www.rosendahls-schultzgrafisk.dk

ISSN 0108-3902

ISBN 978-87-7434-330-1

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

STATSREVISORERNES BEMÆRKNING

Statsrevisorernes bemærkning

Statsrevisorerne,

den 20. januar 2010

BERETNING OM UDVIKLINGEN AF DE NATIONALE TEST

Nationale test skal anvendes i folkeskolen som pædagogisk redskab og som obliga-

toriske test af elevernes færdigheder inden for en række udvalgte fag.

Statsrevisorerne bad om denne undersøgelse af realismen i projektet og tidsplanen

mv., da der var problemer med udvikling af testsystemet til tiden.

Ibrugtagningen af de nationale test er forsinket. De første obligatoriske nationale test

skulle have været taget i brug i maj 2007, men tages efter den seneste plan først i

brug i februar 2010. Det finder Statsrevisorerne ikke helt tilfredsstillende.

Forsinkelsen skyldes især, at leverandøren gennem hele projektet ikke har kunnet

levere til tiden, og at tidsplanen har været for optimistisk.

Beretningen viser, at Undervisningsministeriet i vid udstrækning har styret projektet

tilfredsstillende, men at man i en række tilfælde har undervurderet projektets omfang,

kompleksitet og risici.

Statsrevisorerne bemærker i den forbindelse

•

at den stramme tidsplan for udviklingen af de nationale test har udgjort en risiko

for projektets gennemførelse og kvalitet

at Undervisningsministeriet hverken i 1. eller 2. udbudsrunde udarbejdede økono-

miske analyser, der kunne ligge til grund for budgettering og økonomistyring

at ministeriet ikke tog højde for, at markedet af egnede leverandører var begræn-

set, bl.a. kunne man have valgt flere selvstændige udbudsfaser i stedet for én

samlet

at ministeriet først i foråret 2007 tilførte projektet de nødvendige interne resurser

til projektstyring.

Peder Larsen

Henrik Thorup

Helge Adam Møller

Svend Erik Hovmand

Mogens Lykketoft

Manu Sareen

•

Statsrevisorerne finder det positivt

•

at Undervisningsministeriet har defineret og fastholdt klare mål for, hvad de natio-

nale test skulle kunne, og at man undervejs har hævet kravene til testopgaverne

at ministeriet løbende har vurderet og handlet på de risici, der blev identificeret i

projektet, hvad angår tid, indhold og økonomi.

Statsrevisorerne konstaterer, at undervisningsministerens oplysninger til Folketinget

har givet et korrekt billede af projektets status.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

Beretning til Statsrevisorerne om

udviklingen af de nationale test

Rigsrevisionen afgiver hermed denne beretning til

Statsrevisorerne i henhold til § 8, stk. 1, og § 17,

stk. 2, i rigsrevisorloven, jf. lovbekendtgørelse

nr. 3 af 7. januar 1997 som ændret ved lov nr. 590

af 13. juni 2006. Beretningen vedrører finanslovens

§ 20. Undervisningsministeriet.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

Indholdsfortegnelse

II.

Introduktion og resultater ............................................................................................. 1

Indledning .................................................................................................................... 6

A. Baggrund .............................................................................................................. 6

B. Rammerne for de nationale test............................................................................ 7

C. Formål, metode og afgrænsning ........................................................................... 9

Undervisningsministeriets forberedelse af projektet .................................................. 12

A. Undervisningsministeriets forberedelse før og under 1. udbud .......................... 12

B. Undervisningsministeriets forberedelse under 2. udbud ..................................... 15

Risikostyring i kontraktfasen ...................................................................................... 19

A. Undervisningsministeriets risikoanalyser ............................................................ 19

B. Undervisningsministeriets risikostyring af leverandøren ..................................... 21

C. Undervisningsministeriets risikostyring indadtil................................................... 25

Status for udviklingen af de nationale test ................................................................. 27

A. Status for tid og indhold ...................................................................................... 27

B. Status for økonomien i projektet ......................................................................... 28

C. De samlede omkostninger ved projektet............................................................. 29

Information til Folketinget ........................................................................................... 31

III.

IV.

VI.

Bilag 1. Oversigt over begivenheder ................................................................................... 33

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

Beretningen vedrører finanslovens § 20. Undervisningsministeriet.

I undersøgelsesperioden har der været følgende ministre:

Ulla Tørnæs: november 2001 - februar 2005

Bertel Haarder: februar 2005 -

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INTRODUKTION OG RESULTATER

I. Introduktion og resultater

1. Nationale test er en ny måde at teste folkeskoleelevers færdigheder på. Testsystemet

skal fra 2010 være obligatorisk i en række fag – bl.a. dansk/læsning og matematik på for-

skellige klassetrin. Testene gennemføres af eleverne over internettet og er adaptive, dvs.

at de tilpasser sig den enkelte elevs niveau. Når en elev flere gange har afgivet rigtige svar,

udløser testsystemet automatisk sværere testspørgsmål, mens forkerte svar udløser lette-

re spørgsmål. Testsystemet beregner elektronisk den enkelte elevs testresultat. De natio-

nale test bliver bl.a. et supplement til de internationale PISA-undersøgelser.

2. Efter 2 udbudsrunder indgik Undervisningsministeriet den 30. juni 2006 kontrakt med en

privat leverandør om at udvikle de nationale test. De første 3 obligatoriske nationale test

blev lanceret efter planen den 1. maj 2007, men efterfølgende viste det sig, at testopgaver-

ne ikke havde den fornødne kvalitet og spredning. Testresultaterne kunne derfor ikke som

forudsat bruges til måling af elevernes færdigheder på landsplan. De resterende 7 obliga-

toriske test, som skulle have været klar i april 2008, blev herefter udskudt. Siden har teste-

ne ikke været anvendt som obligatoriske test. Når de 10 test tages i brug i foråret 2010, er

de derfor forsinket henholdsvis 2 og 3 år.

3. Bevillingen til projektet er givet via Akt 191 1/6 2006 og er på 110,8 mio. kr.

4. Statsrevisorerne anmodede i februar 2009 om en undersøgelse af de nationale test med

den begrundelse, at projektet har været mere problemfyldt og arbejdskrævende end forven-

tet.

5. Undersøgelsens formål er at vurdere Undervisningsministeriets forberedelse og styring af

projektet om de nationale test. Herunder vurderes, om det er realistisk, at de nationale test

færdiggøres inden for rammerne af den nuværende tidsplan og budget samt med det love-

de indhold. Undersøgelsen omfatter ikke leverandørens rolle i projektet.

6. Formålet er undersøgt ved at besvare følgende spørgsmål:

•

Har Undervisningsministeriets forberedelse af projektet forud for kontraktindgåelse væ-

ret fyldestgørende?

Har Undervisningsministeriet risikostyret projektet i kontraktfasen i forhold til risici, der

kunne påvirke projektets indhold, tid og økonomi?

Lever de nationale test op til kravene til indhold, tid og økonomi?

Har Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen

af 2009 givet et korrekt billede af projektets status?

Projektets grundsten

De nationale test blev

introduceret politisk via

regeringsgrundlaget fra

2005.

De nationale test blev

indført med vedtagel-

sen af lovforslag om

ændring af lov om fol-

keskolen, fremsat den

7. december 2005

(L 101).

De 10 obligatoriske

nationale test

•

Dansk/læsning,

2., 4., 6. og 8. klasse

•

Matematik, 3. og 6.

klasse

•

Engelsk, 7. klasse

•

Fysik/kemi, 8. klasse

•

Geografi, 8. klasse

•

Biologi, 8. klasse.

Herudover er der 2 fri-

villige test i dansk som

andetsprog, 5. og 7.

klasse.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INTRODUKTION OG RESULTATER

UNDERSØGELSENS RESULTATER

Efter flere års forsinkelse bliver de nationale test lanceret i februar 2010 med test-

opgaver, som lever op til de forventninger, der blev stillet i lovforslaget.

Samlet set har Undervisningsministeriets styring af projektet om de nationale test

været god. Rigsrevisionen kan konstatere, at leverandøren gennem hele projektet

ikke har kunnet levere som aftalt. Med en mere fyldestgørende forberedelse kunne

ministeriet dog have skabt bedre rammer for projektets gennemførelse.

Undervisningsministeriet tog testene i brug i 2007. Senere viste de sig dog ikke at

leve op til ministeriets kvalitetskrav. Siden har ministeriet prioriteret testenes kvalitet

højt og involveret sig mere end forudsat i kvalitetssikringen af testopgaverne.

Projektet forventes at holde bevillingen på 110,8 mio. kr. fra Akt 191 1/6 2006.

Denne samlede vurdering er baseret på følgende:

Undervisningsministeriets forberedelse af projektet om de nationale test kunne

have været mere fyldestgørende. Ministeriets fastsættelse af projektets økono-

miske rammer hvilede på et usikkert grundlag, tidsplanen var meget stram, og

ministeriet tilrettelagde ikke projektet under hensyn til, at markedet af egnede

leverandører var begrænset. Ministeriet definerede klare mål for, hvad de færdi-

ge test skulle kunne, men overvejede ikke, hvilke risici der kunne være forbun-

det med selve opgavekonstruktionen til testene.

1. udbud

•

Undervisningsministeriet fastsatte med afsæt i regeringsgrundlaget fra 2005 en

meget stram tidsplan for udviklingen af de nationale test, som indebar risici for

projektets gennemførelse og kvalitet.

Ministeriet udarbejdede ingen økonomiske analyser som grundlag for udgiftsskøn-

net, selv om ministeriet var i tvivl om, hvorvidt der var afsat tilstrækkelige midler.

Ministeriet havde defineret klare mål for, hvad de færdige test skulle kunne.

Ministeriet burde have overvejet at inddele projektet i selvstændige udbudsfaser

i stedet for at udbyde opgaven som et samlet forløb.

Ministeriet udarbejdede under udbuddet risikoanalyser, der forholdt sig til tid, øko-

nomi, indhold og valg af leverandør. Ministeriet handlede for at mindske de fund-

ne risici ved at lukke 1. udbud uden ordretildeling.

•

2. udbud

•

Undervisningsministeriet udarbejdede også under 2. udbud risikoanalyser, der for-

holdt sig til tid, økonomi, indhold og valg af leverandør.

Tidsplanen var stadig stram og udgjorde en høj risikofaktor for projektet.

•

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INTRODUKTION OG RESULTATER

•

Ministeriet udarbejdede ikke økonomiske analyser, der kunne understøtte fast-

sættelsen af bevillingen på 110,8 mio. kr. i Akt 191. Ministeriet baserede sit ud-

giftsskøn på oplysningerne fra tilbudsgiverne til 1. udbud og søgte at imødegå ri-

sikoen for at overskride den økonomiske ramme ved at afsætte 20 mio. kr. som

buffer i Akt 191.

Ministeriet genovervejede ikke udbudskonstruktionen, selv om 1. udbud kun hav-

de resulteret i et enkelt egnet udbud. Ministeriet burde også ved 2. udbud have

overvejet at inddele projektet i udbudsfaser, som afsluttes, før en ny fase påbe-

gyndes, fx en selvstændig pilotfase. Det ville have sænket risikoniveauet i projek-

tet og dermed gjort det mere attraktivt at byde på opgaven.

Ministeriet udformede udbudsmaterialet, så leverandøren havde mulighed for at

gå på kompromis med de fleste af ministeriets detailkrav. Det gjorde ministeriet

for at imødegå risikoen for, at de tidsmæssige og økonomiske rammer ville afhol-

de egnede leverandører fra at byde på opgaven.

Ministeriet søgte at sikre kvaliteten af testenes indhold ved at stille krav til leveran-

døren i udbudsmaterialet. Ministeriet overvejede dog ikke, hvilke risici der kunne

være forbundet med den konkrete opgavekonstruktion til testene inden for de ud-

valgte fag.

Ministeriet var opmærksom på, at der var væsentlige risici for testenes indholds-

mæssige kvalitet forbundet med at indgå kontrakt med leverandøren i juni 2006.

Ministeriet søgte at imødegå disse risici ved at udforme kontrakten, så den bl.a.

omfattede bodsbelagte milepæle, og ved ekstra vejledning af leverandøren i pro-

jektets opstart.

•

Undervisningsministeriet har i kontraktfasen løbende vurderet risici forbundet

med projektets indhold, tid og økonomi og har i vid udstrækning handlet på de

identificerede risici. Ministeriet har styret projektet ved at anvende en palet af

forskellige styringsredskaber. Ministeriet har hævet kravene til testopgaverne

undervejs og påtaget sig medansvar for overskridelsen af tidsplanen.

•

Undervisningsministeriet har i kontraktfasen løbende udarbejdet risikoanalyser,

der forholder sig til indhold, tid og økonomi. Ministeriet har brugt analyserne som

dialog- og styringsredskab over for leverandøren og indadtil i ministeriet.

Ministeriet lancerede i maj 2007 de nationale test efter planen i kontrakten. Op-

gaverne dækkede dog ikke alle områder, og den efterfølgende evaluering viste,

at kvaliteten ikke var god nok. Testresultaterne kunne derfor ikke anvendes til at

danne et samlet landsresultat. Siden er testene blevet udskudt 3 gange.

Rigsrevisionen kan konstatere, at leverandøren flere gange har overskredet pro-

jektets milepæle og har haft problemer med at levere opgaver til de nationale test

som forudsat i kontrakten.

Forud for testafviklingen i maj 2007 styrede ministeriet projektet via dialog, støtte

og tæt opfølgning på kontraktens milepæle. Ministeriet var fokuseret på kontrakt-

forholdets arbejdsdeling og projektets tidsplan og ændrede derfor ikke rammerne

for projektet, selv om der var usikkerhed om kvaliteten af testopgaverne.

•

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INTRODUKTION OG RESULTATER

•

Efter testafviklingen i maj 2007 fokuserede ministeriet på at sikre, at de nationale

test kom til at indfri formålet om at være et nyttigt evalueringsredskab. Ministeriet

involverede sig mere direkte i projektet og udvidede sit styringsrepertoire gennem

sanktioner (bod), incitamenter (mulighed for genvinding af bod) og øget kontrol.

Det medførte, at udgifterne til ekstern rådgivning steg kraftigt.

Ministeriet indgik i sommeren 2008 forlig med leverandøren, hvor det påtog sig en

del af leverandørens ekstra omkostninger til udvikling af opgaver. Dermed aner-

kendte ministeriet, at kravene til opgaverne var blevet større, end det oprindeligt

fremgik af kravspecifikationen, og ministeriet påtog sig et medansvar for, at pro-

jektets tidsplan blev forlænget.

Ministeriet havde ikke fra start tilknyttet de interne resurser, der var nødvendige

for at styre så stort og komplekst et projekt. Det blev der dog rådet bod på i for-

året 2007, hvor ministeriet styrkede sin projektstyring.

•

De nationale test lanceres som landsdækkende obligatoriske test fra februar

2010 i henhold til den seneste tidsplan. Undervisningsministeriet forventer, at

testene ved lanceringen lever op til kontraktens krav til testenes indhold. Mini-

steriet forventer at holde bevillingen på trods af projektets forsinkelse.

•

Ifølge Undervisningsministeriet vil de 10 obligatoriske test være klar til brug fra

februar til ultimo april 2010. Dermed afvikles testene i henhold til tidsplanen i Akt

35 18/12 2008.

Det er usikkert, om kontraktens krav til opgavebankens størrelse vil være opfyldt

ved testafviklingen, og om de frivillige test i dansk som andetsprog vil være klar

ved milepælens udløb den 30. april 2010. Testene har fra efteråret 2009 fungeret

som frivillige test og har efter ministeriets opfattelse fungeret med det antal opga-

ver, der er til rådighed.

Ministeriet forventer, at det samlede projekt om de nationale test kan holdes inden

for bevillingsrammen fra Akt 191 på 110,8 mio. kr. frem til medio 2010, på trods af

at bevillingsperioden er udvidet med 7 måneder.

Der er sket væsentlige forskydninger af projektets udgifter i forhold til ministeriets

budget fra 2006. Testopgaverne er blevet dyrere at udvikle og kvalitetssikre end

forudsat, og ministeriet har haft større behov for it-support end forventet. Til gen-

gæld har ministeriet købt færre ekstra ydelser hos leverandøren end forventet, fx

ingen supplerende opgavepakker.

De samlede omkostninger til projektet bliver højere end 110,8 mio. kr., hvis der

tages højde for ministeriets interne udgifter på 16 mio. kr. i kontraktperioden, de

indirekte omkostninger som følge af projektets forsinkelse i form af 2 års drift af

testsystemet og tabt undervisningstid som følge af ekstra opgaveafprøvning. Til

gengæld har testene ifølge ministeriet fået højere kvalitet på en række områder.

•

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INTRODUKTION OG RESULTATER

Undervisningsministeriets oplysninger til Folketinget har været korrekte fra

februar 2005 til udgangen af 2009 og har dermed givet et korrekt billede af

projektets status.

•

Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen

af 2009 om udviklingen i projektet har været korrekte og omfatter de væsentlige

forhold, som ministeriet burde videregive i perioden.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INDLEDNING

II. Indledning

Baggrund

7. Denne beretning handler om udviklingen af de nationale test, som indgår i Undervisnings-

ministeriets projekt ”Fremme af evalueringskulturen i folkeskolen”. Baggrunden for beretnin-

gen er, at Statsrevisorerne i februar 2009 anmodede Rigsrevisionen om en undersøgelse

af de nationale test med den begrundelse, at arbejdet med udvikling og drift af de nationale

test har været mere problemfyldt og arbejdskrævende end forventet.

8. Ifølge projektets oprindelige tidsplan skulle 3 af de obligatoriske test være klar den 1. maj

2007, mens de øvrige 7 obligatoriske test samt 2 frivillige test skulle være klar den 1. april

2008. De 3 første test blev gennemført efter planen i maj 2007, men med testopgaver, som

ikke var dækkende for de fagområder, der skulle testes i, og som ved en senere evaluering

viste sig ikke at have en tilstrækkelig høj kvalitet. Testresultaterne kunne ikke bruges til at

beregne den nationale præstationsprofil over elevernes faglige niveau på landsplan.

9. Som følge af problemerne med udvikling af testsystemet og opgaverne har Undervisnings-

ministeriet i 3 omgange udskudt tidsplanen for de nationale test. Senest blev det med Akt

35 18/12 2008 besluttet at udskyde ibrugtagningen af de obligatoriske test til 2010. De før-

ste test tages efter planen i brug den 15. februar 2010. Dermed bliver de nationale test for-

sinket henholdsvis 2 og 3 år.

10. Figur 1 giver en oversigt over forløbet med de nationale test.

Figur 1. Oversigt over forløbet for udvikling af de nationale test i perioden 2005-2010

Akt 109 30/4 2008

Ny tidsplan

Akt 191 1/6 2006

Bevilling

1. udbud

2. udbud

Akt 15 11/10 2007

Ny tidsplan

Akt 35 18/12 2008

Ny tidsplan

Forlængelse

National præstations-

profil

Præstationsprofilen er

en samlet oversigt over

de danske skoleelevers

testresultater i det en-

kelte fag. Den skal ud-

arbejdes efter hver obli-

gatoriske testrunde, så

elevernes præstationer

på nationalt niveau kan

følges.

Oprindelig kontraktperiode

Kontraktfasen

2006

2007

1. obligatoriske

testrunde i

maj 2007

2008

2009

Forberedelsesfasen

2005

L 101

fremsættes den

7. december 2005

2010

2. obligatoriske

testrunde i

februar 2010

L 170

fremsættes den

1. marts 2006

11. Som det fremgår af figur 1, er forløbet opdelt i en forberedelsesfase og en kontraktfase.

Forberedelsesfasen omfatter 2 udbudsrunder, da det 1. udbud blev afsluttet uden ordretil-

deling. Undervisningsministeriet indgik kontrakt med en privat leverandør om udvikling af

de nationale test den 30. juni 2006. Kontraktfasen løb oprindeligt frem til medio 2009, men

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INDLEDNING

er undervejs blevet forlænget med 1 år indtil medio 2010. Se bilag 1 for en udførlig oversigt

over begivenhederne i forløbet.

12. Undervisningsministeriets arbejde med at udvikle de nationale test har været varetaget

af Undervisningsministeriets departement frem til 1. december 2006, hvor den nyetablerede

Styrelse for Evaluering og Kvalitetsudvikling af Grundskolen (Skolestyrelsen) overtog opga-

ven. I beretningen sondres generelt ikke mellem ministeriets institutioner, da departementet

gennem hele forløbet har været inddraget i alle væsentlige beslutninger for projektet.

13. Undervisningsministeriet har såvel i forberedelsesfasen som i kontraktfasen købt ekstern

rådgivning hos et rådgivningsfirma med speciale i it-projekter (herefter omtalt som rådgiv-

ningsfirmaet) og hos Kammeradvokaten. Leverandøren, som ministeriet indgik kontrakt med

om udvikling og idriftsættelse de nationale test, er et konsortium af forskellige virksomheder

under ledelse af et konsulentfirma (herefter omtalt som leverandøren).

Rammerne for de nationale test

14. Rammerne for de nationale test fremgår af:

•

folkeskolelovens § 13

bemærkninger til L 101 – Forslag til lov om ændring af lov om folkeskolen (styrket eva-

luering og anvendelse af nationale test som pædagogisk redskab samt obligatoriske

prøver m.v.) fremsat den 7. december 2005

bemærkninger til L 170 – Forslag til lov om ændring af lov om folkeskolen (præcisering

af folkeskolens formål, ekstra timer i dansk og historie, elevplaner, offentliggørelse af

landsresultater af test, præcisering af det kommunale ansvar samt etablering af nyt råd

for evaluering og kvalitetsudvikling af folkeskolen) fremsat den 1. marts 2006

bekendtgørelse nr. 1157 af 24. oktober 2006 om anvendelse af test i folkeskolen mv.

•

Boks 1 viser rammerne for de nationale test i love og bekendtgørelser.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INDLEDNING

BOKS 1. RAMMERNE FOR DE NATIONALE TEST I LOVE OG BEKENDTGØRELSER

Folkeskoleloven om nationale test (lovbekendtgørelse nr. 593 af 24. juni 2009)

§ 13, stk. 3. Undervisningsministeren udarbejder test i udvalgte fag og på bestemte klassetrin, som

skal anvendes som led i den løbende evaluering, jf. stk. 2. Undervisningsministeren fastsætter reg-

ler om, i hvilke fag og på hvilke klassetrin der skal afholdes test, om afviklingen af disse, om gennem-

førelse af test på særlige vilkår for elever med særlige behov, og om visse elever kan fritages for at

aflægge test. Undervisningsministeren kan fastsætte regler om, at skolerne frivilligt kan anvende te-

stene.

§ 13 a. Undervisningsministeren offentliggør på baggrund af de afholdte test, jf. § 13, stk. 3, hvert år

landsresultaterne.

Oversigt over de nationale test (L 101 og bekendtgørelse nr. 1157 af 24. oktober 2006)

Obligatoriske test

Dansk /læsning

Matematik

Engelsk

Fysik/kemi

Biologi

Geografi

2., 4., 6. og 8. klasse

3. og 6. klasse

7. klasse

8. klasse

Frivillige test

Dansk som

andetsprog

5. og 7. klasse

Forventningerne til indholdet i de nationale test (bemærkningerne til L 101)

•

Testene skal være it-baserede og være et pædagogisk redskab.

•

Testene skal være adaptive, så testenes sværhedsgrad tilpasses efter den enkelte elevs svar i

løbet af testen. Testene skal være baseret på en opgavebank, hvorfra der maskinelt udvælges

opgaver til hver elev afhængig af elevens besvarelser og dermed af elevens faglige niveau.

•

Testene skal være udviklet med udgangspunkt i fagenes trinmål, dvs. de krav, som stilles til ele-

vernes færdigheder på hvert enkelt klassetrin.

•

Testsystemet skal give en tilbagemelding om elevens standpunkt, der beskriver elevens stærke

og svage sider inden for testens faglige områder i form af en verbal profil og en indplacering på

en trinskala.

•

Testene forudsættes at være baseret på et forskningsmæssigt grundlag og de nyeste nationale

og internationale erfaringer.

Ikrafttrædelsesbestemmelser vedrørende nationale test (bekendtgørelse nr. 1157 af 24. oktober

2006)

§ 10, stk. 2. I skoleåret 2006/07 afholdes alene test i matematik i 6. klasse, fysik/kemi i 8. klasse og

læsetest i faget dansk i 8. klasse. I dette skoleår afvikles disse 3 test i perioden 1. maj - 29. juni 2007,

herunder fraværsafvikling.

Stk. 3. Fra skoleåret 2007/08 afholdes alle de i § 1 nævnte test. I dette skoleår afvikles testene i pe-

rioden 1. april - 27. juni 2008.

Optioner

Optioner er køb af

ekstra ydelser hos le-

verandøren. Det kan

være optioner, der er

nævnt i kontrakten, el-

ler andre tilkøb hos le-

verandøren til projektet.

15. Det fremgår af boks 1, at de nationale test er obligatoriske og landsdækkende. Det frem-

går også, hvordan testene fordeler sig på fag og klassetrin, forventningerne til indholdet i

testene, og hvornår de skulle træde i kraft.

16. Bevillingen for det samlede projekt ”Fremme af evalueringskulturen i folkeskolen”, her-

under nationale test, blev fastlagt ved Finansudvalgets tiltrædelse af Akt 191 1/6 2006. Be-

villingen er ifølge aktstykket på 110,8 mio. kr. i perioden 2005-2009. Udgifterne til projektet

afholdes inden for Undervisningsministeriets egen ramme. Ministeriet forventede ved akt-

stykkets tiltrædelse at bruge ca. 80 % af bevillingen på udgifter til leverandøren (hovedkon-

trakt og tilkøb af optioner) og resten til bl.a. rådgivning og it-support.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INDLEDNING

Formål, metode og afgrænsning

Formål

17. Statsrevisorerne anmodede den 19. februar 2009 Rigsrevisionen om en undersøgelse

af Undervisningsministeriets projekt om nationale test, jf. boks 2.

BOKS 2. STATSREVISORERNES ØNSKER TIL INDHOLD I EN UNDERSØGELSE AF NATIO-

NALE TEST

•

Afholdte og forventede udgifter til udvikling og idriftsættelse af nationale test i folkeskolen, herun-

der vurdering af, om projektet kan færdiggøres inden for den afsatte bevilling.

•

Undervisningsministeriets styring af projektet, herunder styring af projektets fremdrift, økonomi og

risici.

•

Realismen i projektet og tidsplanen for projektet.

•

Undervisningsministeriets oplysninger til Folketinget i aktstykker mv. har givet et korrekt billede af

projektets status. Det bedes fremgå af notatet, såfremt Rigsrevisionen skulle blive opmærksom på,

at væsentlige oplysninger ikke er tilgået Folketinget.

18. Det fremgår af Rigsrevisionens notat til Statsrevisorerne af 18. marts 2009 om tilrette-

læggelsen af en større undersøgelse af de nationale test, at undersøgelsen primært vil ta-

ge udgangspunkt i Undervisningsministeriets styring af projektet. Statsrevisorernes anmod-

ning er derfor besvaret ved følgende spørgsmål:

•

Har Undervisningsministeriets forberedelse af projektet forud for kontraktindgåelse væ-

ret fyldestgørende?

Har Undervisningsministeriet risikostyret projektet i kontraktfasen i forhold til risici, der

kunne påvirke projektets indhold, tid og økonomi?

Lever de nationale test op til kravene til indhold, tid og økonomi?

Har Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen

af 2009 givet et korrekt billede af projektets status?

19. Beretningens kap. III handler om Undervisningsministeriets forberedelse af projektet fra

regeringsgrundlaget i 2005 og frem til kontraktindgåelsen i juni 2006, mens kap. IV dækker

kontraktperioden frem til Rigsrevisionens undersøgelse er afsluttet ultimo 2009. Beretnin-

gens kap. V giver en status over projektets tidsplan, indhold og økonomi. Endelig handler

kap. VI om ministeriets information til Folketinget om de nationale test. Af beretningens bi-

lag 1 fremgår en oversigt over begivenheder i hele projektforløbet.

Metode og afgrænsning

20. Undervisningsministeriets forberedelse og styring af projektet om de nationale test er

analyseret med fokus på risikostyring. Undersøgelsen fokuserer derfor på, om ministeriet

har efterlevet de krav og forventninger, som Finansministeriet stiller til risikostyring af it-pro-

jekter, jf. boks 3.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INDLEDNING

BOKS 3. IT-PROJEKTER OG RISIKOSTYRING (REGLER OG VEJLEDNING)

Ifølge

Finansministeriets budgetvejledning 2001

kan ”it-projekter, hvor de samlede budgetterede

udgifter til anskaffelse og udvikling, herunder internt resurseforbrug, udgør 50 mio. kr. eller derover,

først igangsættes efter tilslutning fra Finansudvalget” (2.6.13.1).

”Før forelæggelse og igangsætning af et it-projekt foretages en vurdering af væsentlige risikoelemen-

ter, som kan have betydning for projektets gennemførelse, herunder hvad der kan gøres for at mini-

mere risikoen. Risikovurderingen skal bl.a. omfatte en vurdering af sandsynligheden for overholdel-

sen af tidsplan og totaludgifter, hvilke risici der ud fra en teknisk vurdering er forbundet med projektet,

organisationens parathed og leverandørens evne til at levere det bestilte” (2.6.13.2).

Finansministeriets vejledning om risikostyring af it-projekter

(2001) fremgår, at igangsættel-

sen af et it-projekt, uanset forelæggelse eller ej, først

bør

ske efter, at der er gennemført en risikovur-

dering. Det fremgår endvidere, at en risikovurdering som minimum skal vurdere de relevante risici i

forhold til organisation, teknisk løsning, leverandører og interessenter.

Risikostyring bør ifølge vejledningen være med fra projektets tilblivelse. Værdien af en risikovurdering

er hovedsageligt knyttet til den information, som kan erhverves ved at anvende risikovurderingen som

løbende værktøj

til at følge udviklingen i it-projektet. Det fremgår endvidere, at risikovurdering skal

anvendes som et konstruktivt værktøj til at fastholde balancen mellem omkostninger, funktionalitet og

risiko.

Note: Budgetvejledning 2001 blev i finansåret 2007 afløst af Budgetvejledning 2006. Reglerne fra

2001 gælder stadig og er i visse tilfælde blevet skærpet.

21. Som det fremgår af boks 3, har institutioner efter budgetvejledningen

pligt

til at foretage

risikovurdering forud for igangsættelse af it-projekter over 50 mio. kr. Ifølge Finansministe-

riets vejledning om risikovurdering er det god projektstyring at gennemføre risikovurdering

af it-projekter, uanset størrelsen, og at risikostyre it-projekter løbende fra projektets opstart.

Det er disse krav og anbefalinger, der ligger til grund for vurderingerne i beretningen.

22. Der er 2 elementer i risikostyring: For det første skal risici identificeres og vurderes, og

der skal opstilles strategier for imødegåelse af risici (fx i en risikoanalyse). For det andet skal

der handles for at imødegå relevante risici, så der gennem projektet opnås den rette balan-

ce mellem omkostninger, funktionalitet og risiko, jf. boks 3.

23. Da undersøgelsen viser, at det hovedsageligt er projektets indhold, tidsramme og leve-

randørforhold, der har skabt udfordringer for udviklingen af de nationale test, har Rigsrevi-

sionen valgt at fokusere på Undervisningsministeriets risikostyring i forhold til:

•

projektets tidsramme og økonomiske ramme

testenes indhold

leverandøren, dvs. risici knyttet til valg og styring af leverandør

Undervisningsministeriets organisering af projektet.

24. Undersøgelsen fokuserer således ikke særskilt på ministeriets risikostyring i forhold til

projektets interessenter, som også indgår i Finansministeriets vejledning om risikostyring.

25. De nationale test indgår i det samlede projekt ”Fremme af evalueringskulturen i folke-

skolen”, som ud over de nationale test indeholder en række inspirationsmaterialer til brug

for den løbende interne evaluering i folkeskolen samt en evalueringsportal, hvorfra de natio-

nale test også skal afvikles. Undersøgelsen fokuserer hovedsageligt på de nationale test,

men det er umuligt at adskille de nationale test fra det øvrige evalueringsprojekt, fx fordi

dele af projektet er forudsætninger for de nationale test. Undervisningsministeriet oplyser

dog, at langt hovedparten af den samlede bevilling anvendes til de nationale test.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INDLEDNING

26. Undersøgelsen er rettet mod Undervisningsministeriets styring af projektet nationale

test og ikke mod leverandøren. Analysen er foretaget på baggrund af det materiale, Rigs-

revisionen har modtaget fra ministeriet i forbindelse med undersøgelsen. Derudover har

Rigsrevisionen gennemført interviews med ministeriet, Skolestyrelsen, rådgivningsfirmaet

og leverandøren. Oplysningerne fra interviewene indgår i begrænset omfang.

27. Beretningen har i udkast været forelagt Undervisningsministeriet, og ministeriets be-

mærkninger er i videst muligt omfang indarbejdet i beretningen.

28. Undersøgelsen vedrører perioden fra omtalen af de nationale test i regeringsgrundlaget

fra februar 2005 til udgangen af 2009.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

III. Undervisningsministeriets forberedelse af

projektet

UNDERSØGELSENS RESULTATER

Undervisningsministeriets forberedelse af projektet om de nationale test kunne have

været mere fyldestgørende. Ministeriets fastsættelse af projektets økonomiske ram-

mer hvilede på et usikkert grundlag, tidsplanen var meget stram, og ministeriet tilret-

telagde ikke projektet under hensyn til, at markedet af egnede leverandører var be-

grænset. Ministeriet definerede klare mål for, hvad de færdige test skulle kunne, men

overvejede ikke, hvilke risici der kunne være forbundet med selve opgavekonstruk-

tionen til testene.

29. Rigsrevisionen vurderer i dette kapitel, om Undervisningsministeriets forberedelse af

projektet om de nationale test har været fyldestgørende. For at vurdere dette har Rigsrevi-

sionen undersøgt, om Undervisningsministeriet har risikostyret projektet i tiden forud for kon-

traktindgåelsen (februar 2005 - juni 2006). Rigsrevisionen har herunder undersøgt, om Un-

dervisningsministeriet har forberedt projektet ved at risikostyre i forhold til tid, økonomi, ind-

hold og valg af leverandør i de 2 perioder:

•

før og under 1. udbudsrunde (februar 2005 - oktober 2005)

under 2. udbudsrunde (december 2005 - juni 2006).

30. Som det fremgår, angiver undersøgelseskriterierne 2 forberedelsesperioder, som kapit-

let er struktureret efter. Undervisningsministeriet var ifølge Finansministeriets budgetvejled-

ning først forpligtet til at udarbejde en risikoanalyse for projektet i den 2. periode, hvor pro-

jektets it-udgifter steg til over 50 mio. kr. Rigsrevisionen har dog også fundet det relevant at

undersøge ministeriets risikostyring af projektet i den 1. forberedelsesperiode, da dette er

en naturlig del af god projektstyring, uanset projektets størrelse.

Undervisningsministeriets forberedelse før og under 1. udbud

31. Dette afsnit handler om, hvordan Undervisningsministeriet har forberedt projektet om de

nationale test forud for og under 1. udbudsrunde, dvs. fra det politiske opdrag lå fast med

regeringsgrundlaget i februar 2005, til 1. udbud blev afsluttet i oktober 2005 uden ordretil-

deling.

Tidsplanen og den økonomiske ramme

32. Projektets overordnede tidsplan og den økonomiske ramme blev fastlagt i tiden umiddel-

bart efter, regeringsgrundlaget blev offentliggjort i februar 2005, men byggede videre på et

tidligere forarbejde i ministeriet.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

33. Regeringsgrundlaget fastlagde, at de første test skulle lanceres i skoleåret 2005/06, og

Undervisningsministeriet besluttede derfor at igangsætte et udbud på udviklingsopgaven i

maj 2005 med henblik på kontraktindgåelse i efteråret 2005. På den måde ville en kommen-

de leverandør have ca. 6 måneder efter kontraktindgåelsen til at udvikle de første test.

34. Ministeriet var klar over, at dette var en meget stram tidsplan, da erfaringer fra Norge

havde vist, at det tog ca. 1 år at udvikle it-baserede test af høj kvalitet. Rådgivningsfirmaet

påpegede, at den stramme tidsplan indebar risici for gennemførelsen og kvaliteten af projek-

tet og for, at ellers kvalificerede tilbudsgivere ville undlade at byde på opgaven, når de så

tidsplanen. Ministeriet mente dog, at leverandøren ville kunne gøre en stor del af arbejdet

allerede ved udarbejdelsen af deres tilbud, og at en privat leverandør ville være i stand til at

sammensætte en projektorganisation med de nødvendige ekstra resurser til det korte udvik-

lingsforløb. Derfor vurderede ministeriet, at den politisk fastsatte tidsplan var realistisk.

35. Undervisningsministeriet opstillede i marts 2005 et estimat på udgifterne til det samlede

projekt på 68,7 mio. kr. Samtidig blev udbudsrammen for 1. udbud fastlagt til 30-35 mio. kr.

Beløbet på 68,7 mio. kr. havde ifølge ministeriet karakter af et foreløbigt internt skøn. Kom-

binationen af ydelser var det første af sin art, og ministeriet var ikke bekendt med lignende

store adaptive testsystemer i andre lande. Skønnet blev til på baggrund af erfaringer fra Nor-

ge, rådgivningsfirmaets vurderinger med hensyn til bl.a. it-omkostningerne og ministeriets

erfaringer med udviklingen af de elektroniske afgangsprøver.

36. Ministeriet udarbejdede dog ikke nogen form for økonomisk analyse, der yderligere kun-

ne kvalificere det foreløbige skøn og fastsættelsen af udbudsrammen, selv om ministeriet

var usikker på, om beløbet var tilstrækkeligt stort.

37. Undervisningsministeriet søgte at imødegå de risici, som den stramme tidsplan og usik-

kerheden på det økonomiske skøn medførte, ved at tilrettelægge udbuddet på en måde, der

tog hensyn til tilbudsgivernes eventuelle forbehold i forhold til at byde på opgaven. Således

var udbuddet udformet som en kombination af basisydelser og optioner, og udbudsmateria-

let indeholdt kun enkelte obligatoriske mindstekrav. På den måde havde tilbudsgiver mulig-

hed for at skalere sine ydelser.

38. Som endnu en strategi valgte ministeriet undervejs i udbudsprocessen at hæve udbuds-

rammen til 39 mio. kr. Dette var det højest mulige beløb, uden at udbuddet skulle gå om. Be-

løbet på 39 mio. kr. lå dog væsentligt under de skøn på henholdsvis 56-60 mio. kr. og 60-

70 mio. kr., som 2 af de 3 prækvalificerede konsortier mente, det ville koste at løse opgaven

fyldestgørende.

Valget af udbudsløsning

39. Allerede før regeringsgrundlaget kom i februar 2005, havde Undervisningsministeriet

besluttet, at opgaven med at udvikle nationale test skulle løses af en privat leverandør valgt

via en udbudsproces. Begrundelsen var, at ministeriet manglede den kapacitet, der skulle

til for at udvikle testene selv.

40. Undervisningsministeriet var dog klar over, at der var risici forbundet med et udbud. Mi-

nisteriet havde tidligt konstateret en risiko for, at markedet for opgaven var så begrænset,

at det enten slet ikke ville kunne levere en egnet leverandør, eller at der ville være så få til-

budsgivere, at det ville gå ud over konkurrencesituationen.

41. Ministeriet har oplyst, at det overvejede at lade noget af arbejdet hvile på ministerielle

hænder og nøjes med at sende dele af opgaven i udbud. Ligeledes overvejede ministeriet

at udbyde de forskellige dele af projektet separat, så de blev varetaget af forskellige leveran-

dører. Dette ville dog betyde, at ministeriet skulle bruge meget tid på at styre og sikre koor-

dinering imellem de mange leverandører. Desuden vurderede ministeriet, at det var for tids-

krævende at gennemføre et udbud for hver opgave. På grundlag af ydelsernes kompleksi-

tet og deres gensidige afhængighed vurderede ministeriet endvidere, at en model med en

entydig ansvarsfordeling var den eneste farbare vej.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

Konkurrencepræget

dialog

En udbudsform, hvor

kravspecifikationen ju-

steres efter en eller fle-

re runders dialog med

de prækvalificerede til-

budsgivere. Metoden

sikrer, at det endelige

tilbud tilpasses udby-

ders behov.

42. Ministeriet overvejede ikke muligheden for at faseinddele projektet i mindre på hinanden

følgende udbudsopgaver, fx en selvstændig pilotfase. En faseinddeling af udbudsopgaven

kunne ellers have gjort det muligt at ændre beslutninger om fx indhold og organisering ved

overgangen fra en fase til den næste i lyset af de problemer og den nye viden, der måtte

fremkomme undervejs.

43. Udbuddet blev tilrettelagt i samarbejde med Kammeradvokaten og rådgivningsfirmaet.

Efter råd fra Kammeradvokaten blev udbuddet gennemført som en konkurrencepræget dia-

log, der gav mulighed for dialog om kravspecifikationen og tilbudsgivernes løsningsforslag.

Undervisningsministeriet forventede, at denne udbudsmodel og de muligheder for forbehold,

der var lagt ind i udbudsmaterialet, ville give tilstrækkelig fleksibilitet til at tiltrække egnede

tilbudsgivere, trods den stramme tidsplan og usikkerheden om udbudsrammen.

44. Da tilbudsfristen udløb i oktober 2005, havde Undervisningsministeriet kun modtaget

et tilbud, der opfyldte ministeriets mindstekrav. Selv om tilbuddet opfyldte betingelserne,

vurderede ministeriet, at det ville indebære betydelige risici at indgå kontrakt, herunder risici

for det faglige niveau og testenes forskningsforankring, mængden af testopgaver samt for,

at ministeriet måtte arbejde mere med opgaven end forudsat. Ministeren besluttede derfor

at afslutte udbuddet uden ordretildeling.

Testenes indhold

45. Undervisningsministeriet havde siden 2003-2004 arbejdet med de faglige mål for de na-

tionale test. Der var derfor defineret klare mål for, hvad de færdige test skulle kunne, da ud-

budsplanlægningen begyndte i starten af 2005.

46. Undervisningsministeriet var fra start optaget af at sikre testenes kvalitet og brugerven-

lighed, idet det ønskede at undgå en gentagelse af den kritik, der havde været af de norske

test om bl.a. opgavernes kvalitet. Vedrørende projektets it-del havde ministeriet vurderet for-

dele og ulemper ved elektroniske frem for papirbaserede test, sikkerheden, skolernes ud-

styrssituation mv.

47. Ministeriet vidste, at der ikke fandtes leverandører med specifik erfaring med de ønske-

de adaptive test, og at leverandøren ville skulle trække på resurser fra forskellige fagområ-

der for at opnå den rette kombination af kompetencer. Det øgede risikoen for ikke at nå den

ønskede kvalitet, og ministeriet var derfor tidligt opmærksom på, at der skulle stilles krav til

leverandøren om forskningsforankring og løbende kvalitetssikring i form af afprøvning af op-

gaverne til testene.

48. Under 1. udbud vurderede Undervisningsministeriet løbende risici i forhold til de overord-

nede mål for testenes anvendelse, brugervenlighed og indholdsmæssige kvalitet, fx at den

adaptive testform ikke tidligere var anvendt. Der var også risici forbundet med implemente-

ringen af it-systemet, hvilket ministeriet imødegik gennem opstilling af krav i kontrakten. En-

delig var der usikkerhed om, hvorvidt skolerne havde it-udstyr nok til at gennemføre testene.

Vurdering

49. Undervisningsministeriet fastsatte med afsæt i regeringsgrundlaget fra 2005 en meget

stram tidsplan for udviklingen af de nationale test, som indebar risici for projektets gennem-

førelse og kvalitet.

50. Ministeriet udarbejdede ingen økonomiske analyser som grundlag for udgiftsskønnet,

selv om ministeriet var i tvivl om, hvorvidt der var afsat tilstrækkelige midler.

51. Ministeriet havde defineret klare mål for, hvad de færdige test skulle kunne.

52. Ministeriet burde have overvejet at inddele projektet i selvstændige udbudsfaser i ste-

det for at udbyde opgaven som et samlet forløb.

Forskningsforan-

kring

De nationale test skal

være baseret på forsk-

ning samt nationale og

internationale erfarin-

ger. Derudover skal der

være forskningsmæs-

sigt grundlag for de

modeller og metoder,

som testsystemet byg-

ger på.

Adaptive test

Den adaptive testform

indebærer, at opgaver-

nes sværhedsgrad lø-

bende tilpasses ele-

vens besvarelser gen-

nem en test. Hvis ele-

ven svarer forkert på

2 spørgsmål i træk, gi-

ves et lettere spørgs-

mål, og hvis eleven

svarer rigtigt på 2 op-

gaver i træk, udløser

det et sværere spørgs-

mål.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

53. Ministeriet udarbejdede under udbuddet risikoanalyser, der forholdt sig til tid, økonomi,

indhold og valg af leverandør. Ministeriet handlede for at mindske de fundne risici ved at

lukke 1. udbud uden ordretildeling.

Undervisningsministeriets forberedelse under 2. udbud

54. Dette afsnit handler om, hvordan Undervisningsministeriet forberedte projektet under

2. udbud, dvs. fra udbuddet blev igangsat i december 2005, til kontrakten blev indgået i

juni 2006.

Tidsplanen og den økonomiske ramme

55. Samtidig med afslutningen af det 1. udbud besluttede Undervisningsministeriet at igang-

sætte et nyt udbud. I den forbindelse blev fristen for de 3 første test udskudt 1 år. Herunder

blev en del af opgaven med testdesignet flyttet ind i tilbudsfasen, hvilket ministeriet vurde-

rede ville spare tid i udviklingsfasen. Reelt blev der dog kun lagt 4 måneder til den periode,

leverandøren havde til at udvikle de første test, så der var i alt 10 måneder. Da ministeriet

samtidig øgede kravene til tilbudsgiveren, var tidsplanen således også ved indgangen til

2. udbud meget stram og udgjorde fortsat en høj risikofaktor.

56. Med det 2. udbud blev den økonomiske ramme for det samlede projekt udvidet til i alt

90 mio. kr., og udbudsrammen blev hævet til 50-60 mio. kr. Udvidelsen var ifølge Under-

visningsministeriet nødvendig, da kravene i udbuddet skulle skærpes. Desuden ønskede

ministeriet at øge sikkerheden for egnede tilbud.

57. Med den økonomiske udvidelse af projektet ville it-udgifterne overstige 50 mio. kr., og

Undervisningsministeriet var derfor forpligtet til at forelægge projektet for Finansudvalget i

et aktstykke. Af hensyn til tidsplanen valgte ministeriet at udarbejde aktstykket, før et ende-

ligt tilbud forelå. Dette indebar en risiko for, at aktstykket ikke til fulde ville afspejle udgifterne

i det endelige tilbud. Derfor anmodede ministeriet om at kunne overføre yderligere 20 mio. kr.

fra andre konti til køb af optioner – dvs. som en buffer. Med Akt 191 1/6 2006 lød den sam-

lede økonomiske ramme for projektet således på 110,8 mio. kr.

58. I forhold til projektets økonomi søgte ministeriet altså at imødegå risikoen for at overskri-

de udbudsrammen ved 2. udbud ved at afsætte ekstra midler i Akt 191.

59. Ministeriets skøn på omkostningerne, som er angivet i Akt 191, hvilede på de oplysnin-

ger, som ministeriet havde fået fra tilbudsgiverne under 1. udbudsrunde. Ministeriet har op-

lyst, at det ikke mente, det havde grundlag for at igangsætte mere detaljerede analyser for

at kvalificere informationen fra markedet, da det ikke havde detaljeret kendskab til omkost-

ningsstrukturen bag de løsninger, som konsortierne havde forelagt ministeriet under 1. ud-

bud. Undervisningsministeriet udarbejdede således heller ikke ved indgangen til 2. udbud

nogen form for egne økonomiske analyser, der kunne understøtte fastsættelsen af den øko-

nomiske ramme for projektet.

Testenes indhold

60. De overordnede mål for testenes anvendelse ændrede sig ikke fra 1. til 2. udbud. Det

gjorde kravene til testenes faglige kvalitet derimod. Bl.a. skulle opgavebanken nu være dob-

belt så stor, og kravene til opgavernes kvalitet blev præciseret. Der blev også stillet strenge-

re krav til afprøvning af opgaverne til testene. Derudover skulle tilbudsgiver selv udvælge,

hvilke trinmål der skulle indgå i testene. Dette skete bl.a. ud fra hensynet om, at den valgte

tjenesteyder på den måde ville komme til at kende konceptet bedre og dermed spare tid i

forbindelse med implementeringen. Men samlet betød ændringerne i forhold til 1. udbud, at

opgaven for tilbudsgiveren voksede, mens tidsrammen for de 3 første test kun blev udvidet

fra 6 til 10 måneder.

Opgavebanken

Den mængde test-

opgaver, som ifølge

kontrakten er tilstræk-

kelig for at sikre en

testfaglig sikker vurde-

ring af dels de enkelte

fag, dels de enkelte

fastsatte trinmål.

Trinmål

Trinmål er fælles na-

tionale mål for, hvad

undervisningen i de

enkelte fag skal lede

frem mod. De angiver,

hvad eleverne skal ha-

ve tilegnet sig af kund-

skaber og færdigheder

i faget ved afslutningen

af bestemte klassetrin.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

61. Også under 2. udbud var Undervisningsministeriets risikoanalyser af testenes indhold

knyttet til de overordnede mål for testenes anvendelse, brugervenlighed og indholdsmæs-

sige kvalitet. Fx søgte Undervisningsministeriet gennem krav i udbudsmaterialet at imøde-

gå risikoen for, at opgaverne i testene havde en uensartet form. I forhold til den tekniske løs-

ning var Undervisningsministeriet klar over, at der var en risiko forbundet med skolernes it-

udstyr, der ikke alle steder havde den fornødne kapacitet.

62. Undervisningsministeriet forholdt sig imidlertid ikke til eventuelle risici for testudviklingen

i form af mere praktiske forhindringer, fx udfordringer ved at anvende den adaptive testform

og konstruere opgaver inden for de forskellige fag. Bl.a. forudså risikoanalyserne ikke de ud-

fordringer med at konstruere opgaver til læsetesten, som senere opstod, og som blev en

væsentlig udfordring for projektets fremdrift.

Valget af leverandør

63. Undervisningsministeriet genovervejede ikke udbudstilrettelæggelsen i forbindelse med

2. udbud, selv om markedet kun havde leveret et enkelt tilbud, som levede op til kravene ef-

ter det 1. udbud, og selv om ministeriet i forbindelse med afslutningen af 1. udbud havde

konstateret, at ”der er ingen garanti for et bedre tilbud, selv om der gennemføres et nyt ud-

bud, og der afsættes flere penge”.

64. Det var ved indgangen til 2. udbud fortsat Undervisningsministeriets vurdering, at mini-

steriet ikke rådede over de nødvendige kompetencer til at udvikle testene selv. Samtidig vur-

derede ministeriet, at markedet havde vist, at de nødvendige kompetencer var til stede. Mi-

nisteriet overvejede derfor ikke alternative udbudstilrettelæggelser.

65. Ministeriet overvejede heller ikke under 2. udbud at opdele projektet i udbudsfaser, så

ny viden kunne indarbejdes i projektet ved overgangen til en ny fase.

66. Undervisningsministeriet endte dog efter 2. udbud i samme situation som efter 1. ud-

budsrunde med kun ét tilbud og dermed uden reelle valgmuligheder mellem forskellige le-

verandører. Ministeriet havde modtaget ét tilbud fra hvert af de 2 prækvalificerede konsor-

tier. Det ene tilbud levede dog ikke op til ministeriets mindstekrav, idet dele af leverandø-

rens konsortium havde taget forbehold for kontraktens krav.

67. Det tilbageværende tilbud var efter ministeriets vurdering ”tilfredsstillende, både hvad

angår kvalitet, leveringssikkerhed og økonomi”. Tilbuddet havde dog svage sider ”på visse

af de fag-faglige emner, herunder især læse- og sprogfaglige problemstillinger”, dvs. forhold,

der kunne gå ud over testenes faglige kvalitet. Disse svage sider skyldtes tilsyneladende, at

tilbudsgiveren ikke havde kunnet tilknytte kompetencer på alle fagområder. I forhold til be-

mandingen ”savnes nogle bærende kræfter, fx fremtrædende forskere”. Tilbudsgiver havde

dog signaleret, at man efter kontraktindgåelsen ville tilføre flere resurser.

68. Tilbudsevalueringen pegede desuden på, at Undervisningsministeriet med det valgte til-

bud forventede at skulle bruge mange resurser til kvalitetssikring i etableringsfasen, bl.a. i

forbindelse med afgrænsning af læsetestenes profilområder og ved at sørge for, at relevan-

te forskere blev tilknyttet.

69. Sammenlagt var Undervisningsministeriet altså forud for kontraktindgåelsen opmærk-

som på, at der var væsentlige risici forbundet med at indgå kontrakten. Ministeriet søgte at

imødegå disse risici med udformningen af den kontrakt, der blev indgået den 30. juni 2006

med leverandøren. Boks 4 beskriver indholdet i kontrakten.

Profilområder

Profilområderne i de

nationale test angiver

de faglige områder in-

den for et fag, der gø-

res til genstand for en

test. Fx er profilområ-

derne i testen i dansk/

læsning ”afkodning”,

”sprogforståelse” og

”tekstforståelse”. Pro-

filområderne tager ud-

gangspunkt i fagenes

trinmål.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

BOKS 4. INDHOLDET I KONTRAKTEN

Kontrakten mellem Undervisningsministeriet og leverandøren er en serviceydelseskontrakt med en

fast pris på kontraktens ydelser (55 mio. kr.) og mulighed for at tilkøbe ekstra ydelser (optioner).

Kontrakten indeholder en række bestemmelser vedrørende de produkter, som leverandøren skal le-

vere (herunder it-baserede test), fx kravspecifikationen og løsningsbeskrivelsen. Kontrakten indehol-

der derudover en række proceskrav, fx en hovedtidsplan med bodsbelagte milepæle samt en detal-

jeret beskrivelse af projektorganiseringen og samarbejdet mellem Undervisningsministeriet og leve-

randøren. Kontrakten indeholder desuden bestemmelser for misligholdelse og ophævelse.

70. Som det fremgår af boks 4, er kontrakten en servicekontrakt med en fast pris på kontrak-

tens ydelser. Kontrakten omfatter en række andre leverancer end testene, som skal udvik-

les sideløbende. I alt er der tale om 5 obligatoriske hovedydelser, som gensidigt skal under-

støtte hinanden:

et netsted og it-platform

generelle vejledende materialer

fagspecifikke inspirationsmaterialer

it-baserede test

deltagelse i kampagne og formidling.

Leverandøren skal gradvist lancere/etablere, drive og videreudvikle ydelserne under 1-4.

71. Kontrakten indeholder en række proceskrav. Dels i hovedtidsplanen med bodsbelagte

milepæle, dels i kravspecifikationen i form af krav om, at testopgaverne udvikles med foran-

kring i forskning samt med krav om afprøvning og kvalitetssikring af opgaverne. Derudover

indeholder kontrakten en række krav til udformningen af de nationale test, som klart afspej-

ler de forventninger til testene, der fremgår af L 101. Hvordan testene mere praktisk skal ud-

formes, fx hvordan opgaverne skal konstrueres, indgår ikke i kontrakten.

72. Undervisningsministeriet forventede, at det med kontraktens udformning havde taget høj-

de for risici forbundet med indholdet i testene, tidsplanen og økonomien. Men for at imøde-

gå svaghederne ved de faglige valg i leverandørens tilbud, iværksatte ministeriet umiddel-

bart efter kontraktindgåelsen en ekstra vejledningsindsats. Den ekstra vejledning bestod bl.a.

i detaljerede kommentarer til de faglige valg og forslag til profilområder. Der blev også udar-

bejdet en liste over eksperter, som ministeriet anbefalede leverandøren at tage kontakt til.

Endelig fik leverandøren tilsendt ministeriets risikoanalyse fra juni 2006 for at se, hvor de

skulle sætte ind for at skabe tryghed om kontrakten i ministeriet.

Vurdering

73. Undervisningsministeriet udarbejdede også under 2. udbud risikoanalyser, der forholdt

sig til tid, økonomi, indhold og valg af leverandør.

74. Tidsplanen var stadig stram og udgjorde en høj risikofaktor for projektet.

75. Ministeriet udarbejdede ikke økonomiske analyser, der kunne understøtte fastsættelsen

af bevillingen på 110,8 mio. kr. i Akt 191. Ministeriet baserede sit udgiftsskøn på oplysninger-

ne fra tilbudsgiverne til 1. udbud og søgte at imødegå risikoen for at overskride den økono-

miske ramme ved at afsætte 20 mio. kr. som buffer i Akt 191.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

UNDERVISNINGSMINISTERIETS FORBEREDELSE AF PROJEKTET

76. Ministeriet genovervejede ikke udbudskonstruktionen, selv om 1. udbud kun havde resul-

teret i et enkelt egnet udbud. Ministeriet burde også ved 2. udbud have overvejet at inddele

projektet i udbudsfaser, som afsluttes, før en ny fase påbegyndes, fx en selvstændig pilot-

fase. Det ville have sænket risikoniveauet i projektet og dermed gjort det mere attraktivt at

byde på opgaven.

77. Ministeriet udformede udbudsmaterialet, så leverandøren havde mulighed for at gå på

kompromis med de fleste af ministeriets detailkrav. Det gjorde ministeriet for at imødegå ri-

sikoen for, at de tidsmæssige og økonomiske rammer ville afholde egnede leverandører fra

at byde på opgaven.

78. Ministeriet søgte at sikre kvaliteten af testenes indhold ved at stille krav til leverandøren

i udbudsmaterialet. Ministeriet overvejede dog ikke, hvilke risici der kunne være forbundet

med den konkrete opgavekonstruktion til testene inden for de udvalgte fag.

79. Ministeriet var opmærksom på, at der var væsentlige risici for testenes indholdsmæssi-

ge kvalitet forbundet med at indgå kontrakt med leverandøren i juni 2006. Ministeriet søgte

at imødegå disse risici ved at udforme kontrakten, så den bl.a. omfattede bodsbelagte mile-

pæle, og ved ekstra vejledning af leverandøren i projektets opstart.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

IV. Risikostyring i kontraktfasen

UNDERSØGELSENS RESULTATER

Undervisningsministeriet har i kontraktfasen løbende vurderet risici forbundet med

projektets indhold, tid og økonomi og har i vid udstrækning handlet på de identifice-

rede risici. Ministeriet har styret projektet ved at anvende en palet af forskellige sty-

ringsredskaber. Ministeriet har hævet kravene til testopgaverne undervejs og påta-

get sig medansvar for overskridelsen af tidsplanen.

80. Rigsrevisionen vurderer i dette kapitel, om Undervisningsministeriet har risikostyret ud-

viklingen af de nationale test i projektets kontraktfase (juli 2006 - ultimo 2009).

81. For at vurdere dette har Rigsrevisionen undersøgt, om:

•

Undervisningsministeriet løbende har identificeret, vurderet og opstillet strategier for ri-

sici ved projektets indhold, tid og økonomi

Undervisningsministeriet har handlet i forhold til risici for leverandøren og leverancerne

Undervisningsministeriet har risikostyret projektet indadtil, dvs. handlet i forhold til risici

ved ministeriets egen projektorganisering.

Undervisningsministeriets risikoanalyser

82. Undervisningsministeriet har gennem hele kontraktfasen med jævne mellemrum udar-

bejdet risikoanalyser, som indeholder identifikation og vurdering af risici samt forslag til stra-

tegier til imødegåelse af risici.

83. Risikoanalyserne fra tilbudsevalueringen og ordretildelingen (begge juni 2006) blev brugt

som afsæt for de løbende risikoanalyser. Tabel 1 viser de områder vedrørende organiserin-

gen, løsningen og leverandøren, som ved projektets opstart havde en høj eller middelhøj

risikovurdering. Desuden viser tabellen ministeriets strategier for, hvordan ministeriet ville

imødegå risici.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

Tabel 1. Højrisikoområder og imødegåelsesstrategier fra tilbudsevalueringen

Højrisikoområder

Organisering

•

Der skal udvikles nye pædagogiske redskaber.

Det er et kontroversielt projekt.

Projektet skal flyttes til ny styrelse, hvilket med-

fører risiko for tab af projektviden.

Projektet er afhængigt af, at en meget stor bru-

gergruppe lærer at bruge systemet og oplever

det som nyttigt og relevant.

Projektet er organisatorisk komplekst. Der skal

trækkes på mange forskellige kompetencer i

ministeriet, og leverandøren er et konsortium.

Det kræver stærk projektledelse i ministeriet.

Stram tidsplan – kort udviklingsperiode til både

testplatform og opgavebank, hvor der er krav

om forskningsbasering.

•

Imødegåelsesstrategier

Proceskrav og bodsbelagte milepæle i kontrak-

ten.

Ledelsesfokus samt fokus på kontrakt- og leve-

randørstyring.

Købe bistand til projektledelse.

Projektteamet og rådgivere fra ministeriet føl-

ger med projektet til Skolestyrelsen.

Løbende risikostyring og vurdering af kompe-

tencebehov.

Fagligt nødberedskab.

Bodsbelagte milepæle.

Fokus på tidsplan og procedurer.

Plan for forholdsregler ved eventuel forsinkelse

udarbejdes.

Proceskrav og bodsbelagte milepæle i kontrak-

ten.

Inddrage eksperter som et fagligt beredskab i

ministeriet.

•

Tid

•

Faglig og

teknisk

løsning

•

Systemet skal virke stabilt (troværdighed).

Det adaptive system er det første af sin art.

Det er vanskeligt at konstruere testtilbagemel-

dinger, som er anvendelige for lærere/elever.

Projektet er teknisk komplekst.

Leverandøren har god indsigt i det testfaglige,

men er mindre overbevisende på det fag-fag-

lige område. Den forskningsmæssige forankring

er ikke helt på plads.

Leverandøren er et konsortium af mange parter.

Det kræver stærk projektledelse.

Leverandører

•

Proceskrav og bodsbelagte milepæle.

Leverandørens ansvar for projektledelse, koor-

dinering og styring af underleverancer skal fast-

holdes.

•

Kilde: Rigsrevisionen på baggrund af risikoanalysen fra tilbudsevalueringen og risikoanalysen til brug for beslutning om ordre-

tildeling (begge juni 2006).

84. Som det fremgår af tabel 1 og kap. III, var der forud for kontraktindgåelsen identificeret

en række højrisikofaktorer, både i forhold til organiseringen af projektet (fx tidsplanen), den

faglige og tekniske løsning samt leverandøren. Der fremgår også, at Undervisningsministe-

riet forventede, at bestemmelserne i kontrakten i form af proceskrav og bodsbelagte milepæ-

le ville kunne imødegå de risici, ministeriet havde identificeret. Spørgsmålet om projektets

økonomi indgår ikke i tabel 1, da ministeriet vurderede risikoen for, at projektet ikke kunne

leveres inden for den økonomiske ramme, som lav i de indledende risikovurderinger.

85. Ministeriets strategier for at levere den fornødne projektstyring var koncentreret om le-

delsesmæssigt fokus på projektet, fokus på kontrakt- og leverandørstyring samt løbende

risiko- og kompetencevurdering. Derudover ville ministeriet tilkøbe projektledelsesbistand

hos rådgivningsfirmaet og tilknytte faglige rådgivere.

86. Efterfølgende har Undervisningsministeriet udarbejdet 10 risikoanalyser. Den seneste

er fra august 2009. Ministeriet har løbende identificeret og vurderet risici i forhold til tidspla-

nen, organiseringen af projektet i ministeriet, den faglige og tekniske løsning samt leveran-

døren. Fra marts 2007 indeholder analyserne også risici i forhold til projektets økonomi og

strategier til imødegåelse af risici. Strategierne blev udarbejdet af ministeriet alene eller i

samarbejde med leverandøren, da ministeriet i oktober 2006 tog initiativ til, at risikoanaly-

serne skulle være et fælles dialog- og styringsredskab. Risikovurderingerne og strategier-

ne blev derfor fra foråret 2007 til foråret 2008 drøftet fast på projektets styregruppemøder.

Derefter blev risikoanalyserne et mere internt redskab for ministeriet.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

87. De første risikoanalyser er udarbejdet ud fra den risikovurdering, som ministeriet anvend-

te ved tilbudsevalueringen. Efterhånden blev analysens form dog ændret, så risikovurderin-

gerne blev tilpasset de konkrete udfordringer i projektet og blev mere gennemskuelige og

nuancerede. Mange af de højrisikofaktorer, som nævnes i risikovurderingen ved tilbudseva-

lueringen, kom dog til at følge projektet helt frem til sommeren 2009. Det gælder fx risikofak-

torerne vedrørende den stramme tidsplan og leverandørens projektstyring.

Vurdering

88. Undervisningsministeriet har i kontraktfasen løbende udarbejdet risikoanalyser, der for-

holder sig til indhold, tid og økonomi. Ministeriet har brugt analyserne som dialog- og sty-

ringsredskab over for leverandøren og indadtil i ministeriet.

Undervisningsministeriets risikostyring af leverandøren

89. I dette afsnit analyseres Undervisningsministeriets risikostyring rettet mod leverandøren

og leverancerne. Risikostyringen analyseres ud fra en opdeling af kontraktfasen:

•

1. udviklingsfase, juli 2006 - juni 2007

evaluerings- og videreudviklingsfasen, juli 2007- juni 2008

pilotfasen, juli 2008 - ultimo 2009.

1. udviklingsfase, juli 2006 - juni 2007

90. 1. udviklingsfase blev indledt ved kontraktindgåelsen den 30. juni 2006. Projektets op-

start var præget af et tæt samarbejde mellem Undervisningsministeriet og leverandøren om

at få defineret projektets indhold og få tydeliggjort eventuelle uklarheder i forhold til udbuds-

og tilbudsmaterialet. Ministeriet fulgte løbende op på fremdriften i projektet, bl.a. ved at ef-

terspørge statusoplysninger samt detaljerede bemandings- og projektplaner.

91. Allerede i det sene efterår 2006 dukkede de første problemer dog op i projektet. Proble-

merne var koncentreret om forskningsforankringen i projektet, opgaveproduktionen (mæng-

de og kvalitet) og tidsplanen.

92. Forskningsforankringen af de nationale test blev en tilbagevendende problemstilling i

1. udviklingsfase. Som nævnt i kap. III, savnede Undervisningsministeriet nogle fremtræ-

dende forskere i leverandørens tilbud. Ministeriet tog derfor emnet op over for leverandø-

ren få dage efter kontraktindgåelsen og foreslog en række konkrete forskere, som kunne

tilknyttes projektet. På trods af dette havde leverandøren hen over efteråret 2006 store pro-

blemer med rekrutteringen, og ved årsskiftet var der stadig huller i bemandingen. Proble-

met var særligt stort på læseområdet. De producerede opgaver havde efter ministeriets op-

fattelse ikke den fornødne kvalitet og kom til at bygge på et forkert syn på, hvordan man

tester læsning. Først i marts 2007 blev problemet med tilknytningen af forskere til projek-

tet til fulde løst, da det endelig lykkedes at få tilknyttet en forsker til læseområdet.

93. Produktionen af opgaver blev en risikofaktor for projektet fra efteråret 2006, hvor de før-

ste tegn på, at leverandøren havde problemer med produktionen af opgaver til opgaveban-

ken, viste sig. Fx måtte leverandøren flere gange udskyde afprøvningen af opgaver og der-

med også Rasch-analyserne. Det var alvorligt for projektet, da Rasch-analyserne er nødven-

dige for at afgøre, om opgaverne afprøver samme form for dygtighed, og hvor svære opga-

verne er i forhold til hinanden. Ministeriet baserede hovedsageligt sin kvalitetskontrol af test-

opgaverne på Rasch-analyser og anså det i øvrigt for at være leverandørens opgave at fore-

tage yderligere kvalitetskontrol af det faglige indhold i de enkelte opgaver.

94. I januar 2007 viste det sig, at leverandøren var usikker på, om opgavebanken ved den

obligatoriske testrunde i maj ville indeholde tilstrækkelig mange opgaver i aftalt kvalitet til at

kunne danne fundament for den nationale præstationsprofil, som Folketinget ved L 170 hav-

de vedtaget skulle udarbejdes på baggrund af testrunden. Leverandøren foreslog derfor, at

opgavernes kvalitet blev evalueret

efter

1. testrunde. Det accepterede Undervisningsmini-

Rasch-analyse

Rasch-analyse er en

forskningsbaseret ana-

lysemetode, som på

baggrund af afprøvning

af opgaver på min. 500

elever vurderer, om op-

gaverne har den nød-

vendige testfaglige kva-

litet og fungerer efter

hensigten. Hvis dette

ikke er tilfældet, kas-

seres opgaverne.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

steriet, da det også var utrygt – især ved sammensætningen af opgavebanken. Ministeriet

mente på dette tidspunkt, at kvaliteten af de enkelte opgaver var sikret via Rasch-analyser-

ne og den forskningsmæssige forankring af opgaveudviklingen.

95. Ministeriet blev i de følgende måneder tiltagende usikker på opgaveudviklingens frem-

drift. Risikoanalyserne fra perioden afspejler dette, fx ved at risikofaktoren ”at opgaver til for-

årets test ikke leveres i den tilbudte kvalitet” blev opjusteret til højrisiko i marts 2007. I sam-

me analyse konstaterede ministeriet, at ”erfaringerne fra det foreløbige samarbejde om op-

gavefremstillingen har vist, at leverandøren har overordentligt svært ved at få fastsat ram-

merne og kvalitetsniveauet blandt opgavekonstruktørerne”. Ministeriet handlede på denne

usikkerhed ved at kritisere leverandøren for manglende information om fremdriften og skær-

pe tonen, efterhånden som usikkerheden voksende.

96. Problemerne fortsatte ind i foråret, og i midten af april 2007 måtte leverandøren konsta-

tere, at opgavebanken ikke ville leve op til kontraktens krav ved testafviklingen. Leverandø-

ren havde kun opgaver nok til, at der kunne gennemføres test på 7 ud af de 9 profilområder,

der skulle indgå i den 1. testrunde. Desuden måtte leverandøren tage forbehold for, om der

var testopgaver nok til de allersvageste elever. Derfor manglede der 2 profilområder ved lan-

ceringen af den 1. obligatoriske testrunde i maj 2007, der blev gennemført, uden at Under-

visningsministeriet havde godkendt opgavebanken.

97. Rigsrevisionens interviews med Undervisningsministeriet har vist, at ministeriet indled-

ningsvist mente, at der med kontrakten var taget tilstrækkelig højde for projektets risici. Mi-

nisteriet følte sig forpligtet af regeringsgrundlaget og af ændringerne til folkeskoleloven fra

foråret 2006, hvoraf det fremgik, at der skulle gennemføres obligatoriske test i maj 2007.

Derfor tog ministeriet ikke initiativ til at forlænge tidsrammen ved at aflyse den obligatori-

ske testrunde på trods af usikkerhed vedrørende opgavebanken og den pressede tidsplan.

98. Ministeriet har oplyst, at gennemførelsen af den 1. testrunde skete på baggrund af leve-

randørens oplysninger om, at alle opgaverne havde gennemgået Rasch-analyser, og at der

ikke var noget, der tydede på, at der ikke var en tilstrækkelig mængde brugbare opgaver i

opgavebanken. Ministeriet var klar over, at testene ville mangle 2 profilområder i 1. testrun-

de, og at der var usikkerhed om antallet af opgaver til de svageste elever. Men ministeriet

havde en forventning om, at testene også i 1. testrunde ville leve op til deres formål som et

brugbart pædagogisk værktøj for lærerne, om end i 1. version.

Evaluerings- og videreudviklingsfasen, juli 2007 - juni 2008

99. Efter afslutningen af den 1. testperiode stod det klart, at Undervisningsministeriets hidti-

dige styringstilgang i form af kontraktstyring, dialog og støtte ikke i tilstrækkeligt omfang hav-

de kunnet imødegå projektets risici. Dette fik bl.a. den konsekvens, at ministeriet i løbet af

efteråret 2007 ændrede radikalt på sine strategier og handlinger i forhold til risikostyringen

af projektet. Fx valgte ministeriet at følge leverandørens forslag om at udskyde 3 af testene

et skoleår og senere at tage initiativ til at udskyde alle testene til 2009.

Reviewet

100. I efteråret 2007 gennemførte ministeriet og leverandøren den evaluering (review) af de

anvendte testopgaver, som var blevet aftalt i foråret, og som skulle afgøre, om ministeriet ex

post kunne godkende opgavebanken. Konklusionen på reviewet var, at testmetoden (adap-

tive test) er grundlæggende rigtig, og de testfaglige metoder velvalgte. Derimod var vurde-

ringen af opgavebanken meget kritisk – især hvad angik opgaverne til læsning, hvor hoved-

parten blev vurderet som ubrugelige i deres oprindelige udformning, på trods af at opgaver-

ne havde bestået forudgående Rasch-analyse. Rapporten var så kritisk, at Undervisnings-

ministeriet ikke kunne godkende opgavebanken.

1. testudskydelse

I sommeren 2007 be-

sluttede Undervisnings-

ministeriet på leveran-

dørens opfordring at

udskyde testene i en-

gelsk, 7. klasse, geo-

grafi/biologi, 8. klasse,

og dansk som andet-

sprog, 5. og 7. klasse

fra skoleåret 2007/08

til skoleåret 2008/09.

Reviewet

Reviewet blev gennem-

ført af et panel af for-

skere udpeget af mini-

steriet og leverandø-

ren. Panelet skulle af-

dække, om leverancen

af de nationale test

(herunder opgaveban-

ken) levede op til kra-

vene i kontrakten ved

testafviklingen, og der-

udover stille forslag til

forbedringer.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

101. Reviewet gav anledning til, at ministeriet sammen med leverandøren fik udarbejdet

klare faglige standarder og skabeloner for opgaverne til de nationale test. Det medførte

også, at ministeriet besluttede, at reviewets anbefalinger i videst muligt omfang skulle ef-

terleves, og at det var vigtigere at få udviklet et produkt af en høj kvalitet end at overholde

tidsplanen. Denne beslutning førte således til, at ministeriet udskød alle obligatoriske test

til 2009.

Partnerskab og parallelorganisation

102. Reviewet gav også anledning til, at Undervisningsministeriet fik gennemført nogle om-

fattende ændringer i opgaveudviklingen og i samarbejdet med leverandøren. Ministeriet

blev således langt tættere involveret i opgaveudviklingen og den konkrete implementering

af forskningsforankringen. Derfor introducerede ministeriet det udvidede partnerskab, jf.

boks 5.

2. testudskydelse

Primo 2008 besluttede

Undervisningsministe-

riet at udskyde alle obli-

gatoriske test til 2. halv-

del af skoleåret 2008/09

og gøre 2008 til et øve-

og prøveår.

BOKS 5. PRINCIPPER FOR DET UDVIDEDE PARTNERSKAB

•

Det er fortsat leverandørens ansvar at udvikle opgaver, jf. kontrakten.

•

Der etableres en ”udbygget partnerskabsmodel”, hvor Undervisningsministeriet i meget højere

grad end tidligere knyttes tæt til leverandøren for at støtte, udstikke retningslinjer og kvalitetssikre

alle processer og opgaver relateret til de nationale test.

•

Undervisningsministeriet vil på alle niveauer, med undtagelse af egentlig produktion af opgaver,

sikre en organisation, der kan matche leverandørens organisation (parallelorganisation). Dette

gælder også på forskningssiden.

•

Undervisningsministeriet skal fremover have

alle

testopgaver til endelig godkendelse.

103. Som det fremgår af boks 5, involverede Undervisningsministeriet sig med den udvide-

de partnerskabsmodel meget direkte i leverandørens arbejde. Ministeriet stillede omfatten-

de krav til leverandørens organisering af projektet og tog initiativ til, at projektlederne fra le-

verandøren og ministeriet fysisk kom til at sidde sammen 1-2 dage om ugen i en periode.

Derudover indgik det i den nye model, at ministeriet fremover skulle godkende hver enkelt

opgave i stedet for de stikprøver og skabeloner, som ministeriet, jf. kontrakten, tidligere skul-

le godkende. Dermed opgav ministeriet den tidligere forudsætning om, at opgavernes kva-

litet kunne sikres tilstrækkeligt via Rasch-analyse, og at ansvaret for den faglige kvalitet af

opgaverne i øvrigt kunne overlades til leverandøren.

104. Et andet element af det udvidede partnerskab var den parallelorganisering, som mini-

steriet opbyggede efter reviewet for at kunne matche leverandøren fuldstændig både i for-

hold til projektledelsen og i forhold til udviklingen af testopgaver. I praksis fik rådgivnings-

firmaet til opgave at varetage koordinationen mellem ministeriets faglige kvalitetskoordina-

torer, forskere/eksperter og leverandørens opgaveudviklere, kvalitetssikrere mv. Det med-

førte, at udgifterne til rådgivningsfirmaet steg meget som følge af beslutningen om at eta-

blere en parallelorganisation.

Forlig

105. Reviewet og beslutningen om at udskyde alle obligatoriske test til 2009 betød, at par-

terne stod uden en hovedtidsplan og efterlod en række udeståender – fx hvem der skulle

finansiere forbedringen af testopgaverne, og hvor stor opgavebanken skulle være. I januar

2008 indledte Undervisningsministeriet derfor forhandlinger med leverandøren om projek-

tets fremtid efter reviewet, fortolkningen af kontrakten og økonomien i projektet. Ministeriet

havde som indledning til forhandlingerne varslet opkrævning af bod som følge af, at ministe-

riet ikke kunne godkende den opgavebank, der blev anvendt ved den 1. testrunde i 2007.

Parallelorganiserin-

gen

medførte, at Un-

dervisningsministeriet

fx knyttede lige så

mange forskere til egen

organisation, som le-

verandøren rådede

over, og at ministeriets

eksperter i opgaveud-

vikling skulle indgå i

leverandørens opgave-

udviklingsgruppe. Det

eneste, ministeriet ikke

involverede sig i, var

den praktiske udform-

ning af opgaverne.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

Bod og kompensation

I juni 2008 blev leve-

randøren idømt bod på

i alt 955.000 kr. for

manglende overholdel-

se af milepæle i en pe-

riode frem til opstart af

forligsforhandlinger i

januar 2009.

Derudover accepterede

leverandøren at betale

en kompensation på

300.000 kr. for ændrin-

ger i tidsplanen.

106. Først i begyndelsen af juli 2008 blev Undervisningsministeriet og leverandøren enige

om et forlig. Ved forliget blev der opnået enighed om bod og kompensation for ændringer

af tidsplanen og for den ufuldstændige opgavebank. Derudover blev parterne enige om en

ny hovedtidsplan og nye betingelser for udløsning af bod i fremtiden. Endelig medførte for-

liget, at parterne blev enige om, hvordan de ekstra udgifter som følge af reviewet skulle for-

deles. Ministeriet accepterede således at betale 3,6 mio. kr. af de i alt 7,5 mio. kr., som le-

verandøren havde opgjort som omkostninger i forbindelse med nye opgaveskabeloner, nye

udviklingsprocesser mv. Dermed anerkendte ministeriet også, at kravene til opgaverne som

følge af reviewet var blevet større, end hvad der oprindeligt fremgik af kravspecifikationen,

og påtog sig et medansvar for de forlængede produktionsprocesser.

Pilotfasen, juli 2008 - ultimo 2009

107. I den (foreløbig) sidste fase af projektet nationale test har Undervisningsministeriet byg-

get videre på de styringsredskaber, som ministeriet anvendte i de første faser, dvs. kontrakt-

styring og tæt samarbejde om udvikling af opgaver og grundig kvalitetssikring. Ministeriet

traf derudover 3 væsentlige beslutninger, som fik indflydelse på projektstyringen.

Beslutning om pilotfase

108. Kort efter indgåelsen af forliget i sommeren 2008 orienterede leverandøren endnu en

gang Undervisningsministeriet om forsinkelser i opgaveudviklingen. Der var fortsat behov

for at udvikle og afprøve nye opgaver til testene – især til læsetestene – og leverandøren

havde stadig svært ved at leve op til ministeriets kvalitetskrav og til kravene om, at testene

skal være tilgængelige for elever med funktionsnedsættelser. Ministeriet besluttede derfor i

oktober 2008 at udskyde de obligatoriske test til foråret 2010 og alene afprøve testene på

100 frivillige pilotskoler i foråret 2009. Beslutningen blev truffet uden om leverandøren og

uden at ændre på hovedtidsplanen eller andre af de grundlæggende vilkår for projektet, her-

under de bodsbelagte milepæle.

109. Beslutningen om udskydelse af obligatoriske test viste sig at være velbegrundet, idet

leverandøren ikke nåede at blive færdig med udviklingen af opgaver inden for de fastlagte

milepæle. Undervisningsministeriet kunne altså ikke gennemføre test i foråret 2009 med en

opgavebank, som levede op til kontraktens og reviewpanelets krav om volumen og kvalitet.

Der var dog tilstrækkeligt med opgaver til, at Skolestyrelsen kunne gennemføre pilottest, om

end et stort antal opgaver stadig havde en række mindre fejl (fx stavefejl).

Beslutning om at forlænge kontrakten med leverandøren

110. I januar 2009 besluttede Undervisningsministeriet at forlænge kontrakten med leveran-

døren fra kontraktens udløb den 31. juli 2009 og 1 år frem. Ministeriet begrundede forlængel-

sen således:

•

Kontraktforlængelse ville give mulighed for, at testudviklingen fortsatte uden leverandør-

skifte frem til den kommende obligatoriske testrunde i februar-april 2010.

Uden kontraktforlængelse skulle der indgås ny kontrakt med en anden eller samme le-

verandør, eller også skulle projektet videreføres uden ekstern leverandør. Dette ville til-

føre yderligere usikkerhed til projektet.

Det ville være meget vanskeligt at gennemføre et udbud.

Kontraktforlængelsen og følgeudgifterne ville kunne holdes inden for den økonomiske

ramme og prisen for kontraktforlængelsen var gunstig.

3. testudskydelse

I oktober 2008 beslut-

tede Undervisningsmi-

nisteriet at udskyde al-

le obligatoriske test til

foråret 2010 og kun

gennemføre test i for-

året 2009 på 100 pilot-

skoler.

Pilottest

I foråret 2009 gennem-

førte Undervisningsmi-

nisteriet pilottest af alle

10 obligatoriske test på

100 skoler, der havde

meldt sig frivilligt.

•

Beslutning om bod og aftale om genvinding af bod

111. I maj 2009 stod det klart, at 3 milepæle ikke var overholdt. Der manglede opgaver til

en række profilområder, og på en række profilområder var opgaverne ikke fordelt ligeligt på

sværhedsgrader. Undervisningsministeriet vurderede dog, at det var muligt at gennemføre

pilottestene trods disse mangler. Ministeriet begyndte igen at opkræve bod i henhold til kon-

trakten. Bodsbeløbet var og er fortsat på 5.000 kr. om dagen for hver af de 3 milepæle, og

boden løber, indtil kravene i kontrakten er opfyldt.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

112. Undervisningsministeriet vurderede dog samtidig, at der var behov for at iværksætte

tiltag, som kunne fastholde leverandørens motivation for at gøre opgaven færdig og sikre

ministeriet fortsat indflydelse på tidsplanen og på opgaveproduktionen. I slutningen af juni

2009 indgik ministeriet derfor aftale med leverandøren om, at den fulde bod kan genvindes,

hvis leverandøren opfylder kontrakten på de 3 områder inden 3 nye milepæle.

Vurdering

113. Ministeriet lancerede i maj 2007 de nationale test efter planen i kontrakten. Opgaverne

dækkede dog ikke alle områder, og den efterfølgende evaluering viste, at kvaliteten ikke var

god nok. Testresultaterne kunne derfor ikke anvendes til at danne et samlet landsresultat.

Siden er testene blevet udskudt 3 gange.

114. Rigsrevisionen kan konstatere, at leverandøren flere gange har overskredet projektets

milepæle og har haft problemer med at levere opgaver til de nationale test som forudsat i

kontrakten.

115. Forud for testafviklingen i maj 2007 styrede ministeriet projektet via dialog, støtte og tæt

opfølgning på kontraktens milepæle. Ministeriet var fokuseret på kontraktforholdets arbejds-

deling og projektets tidsplan og ændrede derfor ikke rammerne for projektet, selv om der var

usikkerhed om kvaliteten af testopgaverne.

116. Efter testafviklingen i maj 2007 fokuserede ministeriet på at sikre, at de nationale test

kom til at indfri formålet om at være et nyttigt evalueringsredskab. Ministeriet involverede sig

mere direkte i projektet og udvidede sit styringsrepertoire gennem sanktioner (bod), incita-

menter (mulighed for genvinding af bod) og øget kontrol. Det medførte, at udgifterne til eks-

tern rådgivning steg kraftigt.

117. Ministeriet indgik i sommeren 2008 forlig med leverandøren, hvor det påtog sig en del

af leverandørens ekstra omkostninger til udvikling af opgaver. Dermed anerkendte ministe-

riet, at kravene til opgaverne var blevet større, end det oprindeligt fremgik af kravspecifika-

tionen, og ministeriet påtog sig et medansvar for, at projektets tidsplan blev forlænget.

Aftalen om genvin-

ding af bod

Skæringsdatoerne i

aftalen er sat så sent

som muligt for at give

leverandøren de bed-

ste betingelser for at

færdiggøre leverancer-

ne, men tids nok til at

gennemføre obligatori-

ske test i alle fag i lø-

bet af foråret 2010 med

en opgavebank, der le-

ver fuldt op til kravene

i kontrakten.

Aftalen indeholder der-

udover en række be-

tingelser, som tydelig-

gør, hvilket produkt det

præcist er, der skal le-

veres.

Undervisningsministeriets risikostyring indadtil

118. I dette afsnit analyseres Undervisningsministeriets risikostyring indadtil i form af hand-

linger til imødegåelse af risici ved ministeriets styring af projektet.

119. Undervisningsministeriet valgte indledningsvist at organisere sit samarbejde med leve-

randøren i en mindre projektorganisation med de medarbejdere, som var tilknyttet projektet

i forberedelsesfasen, samt en række af ministeriets eksperter og konsulenter løsere tilknyt-

tet. Ministeriet indledte således projektet med udgangspunkt i de kompetencer, som ministe-

riet allerede rådede over, dvs. primært kompetencer i forhold til det faglige indhold i projek-

tet. Ministeriet valgte desuden at styrke projektet ved at tilkøbe ekstern konsulentbistand

(ca. én arbejdsdag om ugen) til opgaven med projekt- og kontraktstyring, da ministeriet ikke

selv rådede over den type af kompetencer.

120. Allerede inden kontraktindgåelsen stod det klart, at projektet skulle overgå til Skolesty-

relsen i december 2006 – kort efter dennes etablering. Ved overdragelsen fulgte projekt-

ledelsen fra Undervisningsministeriet med, og projektet fortsatte i den form, det havde haft

i ministeriet. Den ansvarlige chef fulgte dog ikke med, og ansvaret for projektet overgik til

styrelsens ledelse.

121. I marts 2007 ændrede Skolestyrelsen denne organisering, da styrelsen som følge af

de stigende problemer i projektet havde behov for at styrke sin egen organisering i forhold

til testfaglighed og projektledelse. Derfor indsatte Skolestyrelsen en mere erfaren projekt-

leder og knyttede konsulenten fra rådgivningsfirmet tættere til projektet som assisterende

projektleder. Skolestyrelsens organisering af projektet styrkedes også af oprettelsen af en

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

RISIKOSTYRING I KONTRAKTFASEN

It-følgegruppen

Det fremgår af Akt 191

1/6 2006, at ministeriet

vil etablere en følge-

gruppe med ekspertise

i komplekse it-projek-

ter til at bistå med lø-

bende rådgivning.

Gruppen trådte første

gang sammen i april

2007.

Deltagerne i it-gruppen

repræsenterer offent-

lige myndigheder, der

har erfaring med store

it-projekter (fx Beskæf-

tigelsesministeriet,

Odense Kommune og

Dansk Blindebibliotek).

it-følgegruppe med deltagere fra andre offentlige myndigheder, som havde erfaring med at

drive store it-projekter. Det var fx følgegruppen, der i 2007 foreslog Undervisningsministe-

riet at forsøge med en partnerskabstilgang.

122. I sommeren 2008 ændrede Skolestyrelsen endnu en gang sin organisering af projek-

tet. Den nye organisering af projektet indebar, at projektledelsen blev en stabsfunktion un-

der Skolestyrelsens direktør, der påtog sig opgaven som projektansvarlig og dermed gav

projektet større ledelsesmæssigt fokus. Siden er der ikke sket ændringer af Skolestyrelsens

projektorganisering. Rådgivningsfirmaet er således stadig tilknyttet projektet for at bidrage

til projektledelsen og yde it-rådgivning.

Vurdering

123. Ministeriet havde ikke fra start tilknyttet de interne resurser, der var nødvendige for at

styre så stort og komplekst et projekt. Det blev der dog rådet bod på i foråret 2007, hvor mi-

nisteriet styrkede sin projektstyring.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

STATUS FOR UDVIKLINGEN AF DE NATIONALE TEST

V. Status for udviklingen af de nationale test

UNDERSØGELSENS RESULTATER

De nationale test lanceres som landsdækkende obligatoriske test fra februar 2010 i

henhold til den seneste tidsplan. Undervisningsministeriet forventer, at testene ved

lanceringen lever op til kontraktens krav til testenes indhold. Ministeriet forventer at

holde bevillingen på trods af projektets forsinkelse.

124. Rigsrevisionen vurderer i dette kapitel status for udviklingen af de nationale test, dvs.

om de lever op til kravene til projektets indhold, tidsplan og økonomi. Desuden vurderer Rigs-

revisionen de samlede omkostninger forbundet med udvikling og fremtidig drift af de natio-

nale test.

Status for tid og indhold

125. Ifølge den seneste tidsplan for projektet, som er oplyst i Akt 35 18/12 2008, sigter Un-

dervisningsministeriet mod at gennemføre obligatoriske test i 1. halvdel af 2010. Ministeriet

lukker op for brug af de første 6 test den 15. februar 2010 og for de 3 test i dansk/læsning

den 1. marts 2010. Testene skal være afviklet inden udgangen af april 2010.

126. Beslutningen om at gennemføre obligatoriske test har ministeriet truffet på baggrund

af de pilottest, der er gennemført i foråret 2009. Pilottestene blev gennemført uden det ful-

de antal opgaver i opgavebanken, som kontrakten kræver. Der manglede fx svære opgaver

i dansk/læsning. Denne mangel blev afhjulpet ved at låne opgaver fra højere klassetrin. Eva-

lueringen af pilottestene viser, at skolerne har oplevet systemet som velfungerende og nemt

at anvende, om end brugervenligheden stadig kan forbedres. Lærerne har generelt oplevet,

at testene giver viden om elevernes færdigheder, som kan bruges i planlægningen af under-

visningen.

127. Status for testenes indhold pr. 1. januar 2010 er, at de 10 test, der skal være obligato-

riske fra foråret 2010, blev taget i brug på frivillig basis i efteråret 2009. Efter Undervisnings-

ministeriets opfattelse har testene fungeret med det antal opgaver, der på daværende tids-

punkt var i opgavebanken. Opgavebanken lever dog stadig ikke op til kravene i kontrakten.

Der mangler svære opgaver til dansk/læsning, og et mindre antal opgaver mangler at blive

Rasch-analyseret og godkendt. For at leverandøren lever op til kontrakten, skal alle opgaver

være Rasch-analyserede og godkendte den 1. februar 2010. Opgavebanken med de frivilli-

ge test i dansk som andetsprog er heller ikke komplet. Ministeriet forventer ikke, at opgave-

banken på dette område vil være komplet ved milepælens udløb den 30. april 2010.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

STATUS FOR UDVIKLINGEN AF DE NATIONALE TEST

128. Undervisningsministeriet har oplyst, at testene ved den obligatoriske testrunde vil leve

op til kravene i kontrakten for tilgængelighed for elever med funktionsnedsættelser. Teste-

ne vil derfor også kunne anvendes af elever, der ikke kan bruge mus, døve og kognitivt han-

dicappede (fx elever med hukommelses-, koncentrations- og indlæringsproblemer). Derimod

vil testene ikke kunne anvendes af blinde og stærkt svagsynede elever ved den obligatori-

ske testrunde. Ministeriet har oplyst, at der er sat en proces i gang med henblik på at finde

en løsning for disse elever.

Vurdering

129. Ifølge Undervisningsministeriet vil de 10 obligatoriske test være klar til brug fra februar

til ultimo april 2010. Dermed afvikles testene i henhold til tidsplanen i Akt 35 18/12 2008.

130. Det er usikkert, om kontraktens krav til opgavebankens størrelse vil være opfyldt ved

testafviklingen, og om de frivillige test i dansk som andetsprog vil være klar ved milepælens

udløb den 30. april 2010. Testene har fra efteråret 2009 fungeret som frivillige test og har

efter ministeriets opfattelse fungeret med det antal opgaver, der er til rådighed.

Bevillingen

Kontrakten og projek-

tets forbrugsopgørelser

giver ikke mulighed for

at isolere udgifterne til

de nationale test. Mini-

steriet kan derfor ikke

opgive et præcist tal for

de samlede udgifter til

nationale test, men har

oplyst, at langt den

største del af midlerne

er brugt på udviklingen

af testene.

Status for økonomien i projektet

131. Bevillingen for projekt ”Fremme af evalueringskulturen i folkeskolen” (herunder udvik-

lingen af de nationale test) fremgår af Akt 191 1/6 2006 og udgør i alt 110,8 mio. kr. i perio-

den 2005-2009. Der er ikke i perioden bevilget øvrige midler til projektet. Bevillingen er dog

blevet pris- og lønreguleret med i alt 0,6 mio. kr. på finanslovene for 2008 og 2009.

132. Bevillingen for perioden 2005-2009 er fordelt på 4 hovedudgiftstyper, jf. Akt 191. Af ta-

bel 2 fremgår bevillingen samt de faktiske og p.t. forventede udgifter til evalueringsprojektet

fra 2005 til udløbet af den nuværende kontrakt medio 2010.

Tabel 2. Samlet forbrugsopgørelse over projektet i perioden 2005-2010 (løbende priser)

(Mio. kr.)

Forbrug

2005-2008

Kontrakt

Optioner

Øvrige afledte udgifter

Øvrige initiativer

Diverse

Reserve

I alt

44,7

6,1

19,6

4,1

0,4

74,9

Budget

2009-2010

10,1

11,4

7,6

3,8

0,3

0,6

33,8

Prisregulering

(leverandør)

1,1

1,7

2,8

Forbrug/budget

i alt 2005-2010

55,9

19,2

27,2

7,9

0,7

0,6

111,4

Bevilling

2005-2009

60,0

26,2

15,0

9,6

110,8

Note: Uoverensstemmelser mellem tallene i tabellen og totalen på 111,4 mio. kr. skyldes afrundinger.”Prisregulering” dækker

over forventede udgifter til opregning af udgifter til leverandøren i henhold til kontrakten (2008-2010). Dens fordeling på

hovedydelser er beregnet af Rigsrevisionen. ”Diverse” er udgifter til tryk og licenser samt administrative udgifter, fx til

transport, møder og studentermedhjælp. ”Reserve” er en intern buffer.

Kilde: Rigsrevisionen på baggrund af Akt 191 1/6 2006 samt forbrugs- og budgetoplysninger fra Undervisningsministeriet.

133. Tabel 2 viser, at Undervisningsministeriet forventer at bruge 111,4 mio. kr. på evalue-

ringsprojektet inkl. nationale test frem til medio 2010 med de nuværende budgetteringer.

Ministeriet forventer dermed at overholde bevillingen, når der ses bort fra reguleringen på

0,6 mio. kr., selv om perioden er blevet 7 måneder længere end forudsat i Akt 191. Men

som det også fremgår af tabel 2, er fordelingen mellem de enkelte udgiftstyper blevet an-

derledes end forventet ved Akt 191.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

STATUS FOR UDVIKLINGEN AF DE NATIONALE TEST

134. For det første vil udgiften til

kontrakten

være ca. 56 mio. kr. i kontraktperioden, hvilket

er ca. 4 mio. kr. mindre end forventet i Akt 191. Dertil kommer, at udgiften til kontrakten er

blevet lavere som følge af den bod, som leverandøren har måttet betale i form af fradrag i

sit servicevederlag for overskredne milepæle. Boden medfører, at udgifterne til kontraktens

ydelser samlet set bliver mellem 1,3 mio. kr. og ca. 4,3 mio. kr. lavere end forudsat og op-

gjort i tabel 2, afhængigt af i hvilket omfang leverandøren vinder bod tilbage. Den første bod

er tilbagebetalt til statskassen, og det skal den øvrige bod også. Bodsbeløbet kan derfor ik-

ke finansiere andre udgifter i projektet.

135. For det andet forventer Undervisningsministeriet kun at anvende 19,2 mio. kr. ud af de

bevilgede 26,2 mio. kr. til

optioner

(ekstra ydelser købt hos leverandøren). Ministeriet har

brugt 5 mio. kr. til videreudvikling af opgavebanken efter evalueringen i 2007 og ca. 5 mio.

kr. til at forlænge kontrakten med 1 år. Resten af beløbet til optioner (ca. 9 mio. kr.) er brugt

og forventes brugt til ekstra faciliteter, nye rapporteringsmuligheder og omkostninger i for-

bindelse med afholdelse af forskellige seminarer mv. Det er ca. det halve af, hvad der op-

rindeligt var budgetteret til ekstra faciliteter mv., og omfatter fx ikke de supplerende opgave-

pakker, som er omtalt i kontrakten.

136. For det tredje forventer Undervisningsministeriet at anvende 27,2 mio. kr. på

øvrige

afledte udgifter

mod de budgetterede 15 mio. kr. i Akt 191. De afledte udgifter omfatter pri-

mært udgifter til ekstern rådgivning, udgifter til UNI•C og udgifter til Kammeradvokaten. År-

sagen til, at de afledte udgifter er blevet større end forventet, er bl.a. den parallelle organi-

sering af kvalitetssikringen af opgaverne, som ministeriet indførte efter reviewet i 2007. Mi-

nisteriet forventer således at bruge ca. 7 mio. kr. mere på ekstern rådgivning end budgette-

ret. Desuden undervurderede ministeriet ved budgetlægningen behovet for it-support fra

UNI•C og forventer at bruge ca. 7,5 mio. kr. mere end budgetteret.

Vurdering

137. Ministeriet forventer, at det samlede projekt om de nationale test kan holdes inden for

bevillingsrammen fra Akt 191 på 110,8 mio. kr. frem til medio 2010, på trods af at bevillings-

perioden er udvidet med 7 måneder.

138. Der er sket væsentlige forskydninger af projektets udgifter i forhold til ministeriets bud-

get fra 2006. Testopgaverne er blevet dyrere at udvikle og kvalitetssikre end forudsat, og

ministeriet har haft større behov for it-support end forventet. Til gengæld har ministeriet købt

færre ekstra ydelser hos leverandøren end forventet, fx ingen supplerende opgavepakker.

Kontraktforlængelse

Den oprindelige kon-

trakt udløb den 31. juli

2009. Herefter blev

kontrakten forlænget

med 1 år. Kontrakten

kan forlænges med

yderligere 1 år. Prisen

for kontraktforlængel-

se indgik i det oprinde-

lige tilbud og udgør 4,9

mio. kr. (option).

De samlede omkostninger ved projektet

139. I det foregående afsnit er projektets økonomi blevet analyseret ud fra bevillingen til pro-

jektet i Akt 191. I dette afsnit bredes analysen ud til at omfatte øvrige omkostninger forbun-

det med udviklingen og den fremtidige drift af testsystemet.

Interne udgifter

140. Undervisningsministeriet har oplyst, at der ikke i bevillingen i Akt 191 indgik et skøn over

det interne resurseforbrug, og at der derfor heller ikke er foretaget forbrugsopgørelser af in-

terne udgifter til projekt ”Fremme af evalueringskulturen i folkeskolen”. Det skyldes, at opga-

ven er omfattet af ministeriets almindelige opgaveportefølje. Selv om de interne udgifter så-

ledes ikke er omfattet af bevillingen til projektet, er det efter Rigsrevisionens opfattelse rele-

vant at inddrage disse udgifter, hvis man vil have et samlet billede af, hvad projektet har ko-

stet alt i alt. Ministeriet har da også i årsrapporterne for Skolestyrelsen opgjort interne ud-

gifter til projektet i 2007 og 2008.

141. Undervisningsministeriet har ifølge egne opgørelser haft interne udgifter i perioden

2007-2008 på i alt 8,1 mio. kr. inkl. ledelse, kommunikation og driftsoverhead. Ministeriet

har ingen opgørelser over interne udgifter for 2006 eller budget for de interne udgifter i pe-

rioden 2009-2010, men forventer, at lønomkostningerne vil blive på samme niveau i 2009

Dyrere opgaver som

følge af reviewet

Reviewet har medført,

at såvel Undervisnings-

ministeriets som leve-

randørens udgifter til

udvikling af opgaver er

blevet større end for-

ventet ved tilbudsgiv-

ningen. Opgaveudvik-

lingen er blevet 7,5

mio. kr. dyrere, end le-

verandøren forventede

ved tilbudsgivningen.

Det svarer til en stig-

ning i omkostningerne

på 46 % i forhold til

forventningen ved til-

budsgivningen.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

STATUS FOR UDVIKLINGEN AF DE NATIONALE TEST

og i 1. halvdel af 2010 som i 2008. Rigsrevisionen har derfor skønsmæssigt vurderet disse

udgifter til i alt knap 8 mio. kr. Dette skøn bygger på den kendte forbrugsprofil og ministeriets

oplysninger om organiseringen af projektet i de forskellige perioder. Dermed vil de samlede

interne udgifter til projektet i kontraktperioden blive i alt ca. 16 mio. kr.

Værditab ved overskridelse af tidsplanen

142. Overskridelsen af tidsplanen har indtil videre ikke medført overskridelser af bevillingen.

Men overskridelsen har medført, at Undervisningsministeriet ikke har fået den betydelige

drifts- og vedligeholdelsesperiode, som var forudsat i kontrakten og bevillingen. Undervis-

ningsministeriet budgetterede således ved forelæggelsen af Akt 191 med at få 2�½ års drift

og videreudvikling af de første 3 test og 1�½ års drift og videreudvikling af de øvrige 9 test.

Bevillingen på 110,8 mio. kr. skulle således dække både udvikling af testene samt drift og

videreudvikling i de første 1�½-2�½ år.

143. Undervisningsministeriet er på grund af overskridelserne af tidsplanen gået glip af gen-

nemsnitligt 2 års drift og videreudvikling af de nationale test efter gennemførte nationale test-

runder og 2 nationale testrunder med brug af alle 12 test. Til gengæld har ministeriet fået en

pilottest og test, der – efter egen opfattelse – på en række områder er af en højere kvalitet

end oprindeligt forudsat.

144. Der har også været omkostninger forbundet med ekstra afprøvning af opgaver til læs-

ning. Som følge af reviewet i 2007 er afprøvningen af opgaver blevet mere omfattende end

forudsat ved kontraktindgåelse, da mange opgaver har måttet kasseres, og nye udvikles.

Den ekstra afprøvning af læseopgaver har lagt beslag på et betydeligt antal undervisnings-

timer i folkeskolen. Rigsrevisionen kan dog ikke vurdere, i hvilket omfang folkeskolerne har

kunnet bruge opgaveafprøvningen som erstatning for testlignende aktiviteter, der alligevel

skulle være afviklet.

Varige udgifter til drift og vedligeholdelse af de nationale test

145. Af Akt 191 fremgår, at såvel størrelsen af varige udgifter til drift og vedligeholdelse af

de nationale test efter 2009 som finansieringen vil skulle afklares efterfølgende. I perioden

fra Akt 191 til foråret 2009 har spørgsmålet om udgifter til drift og vedligeholdelse af de na-

tionale test ikke været berørt i aktstykker mv.

146. Med forslaget til finansloven for 2010 er afklaringen af de varige udgifter delvist sket.

Da bevillingen fra Akt 191 ikke forventes at holde til længere end medio 2010, er der på fi-

nanslovsforslaget foreslået afsat ca. 13 mio. kr. årligt fra sidste halvår af 2010 til og med

2013 til drift og videreudvikling af de nationale test. Den foreslåede bevilling for perioden

2010-2013 skal bl.a. dække vedligeholdelse og drift af testene i henhold til kontrakt med en

ekstern leverandør, udgifter til optioner, UNI•C-support samt rådgivning og kvalitetssikring.

147. Undervisningsministeriet har mulighed for at forlænge kontrakten med leverandøren

for endnu 1 år (medio 2010 - medio 2011) til den nuværende pris på 4,9 mio. kr. Derefter

skal opgaven med drift og videreudvikling af testsystemet i udbud, og en ny kontrakt skal ind-

gås. Ministeriets overslag over udgifterne til en sådan kontrakt efter medio 2011 baserer sig

på prisen på kontraktforlængelse med den nuværende leverandør. Ministeriet konstaterer

dog i et internt notat, at en retvisende udgiftsprofil fra medio 2011 først vil kunne estimeres,

når der foreligger en model for projektets fremtidige form, og at den nuværende pris på 4,9

mio. kr. for drift af de nationale test er relativ lav. Der er derfor risiko for, at omkostningerne

til driften vil blive større end ministeriets budgetoverslag efter medio 2011. Der er ikke i de

13 mio. kr. årligt indregnet interne udgifter i ministeriet.

Vurdering

148. De samlede omkostninger til projektet bliver højere end 110,8 mio. kr., hvis der tages

højde for ministeriets interne udgifter på 16 mio. kr. i kontraktperioden, de indirekte omkost-

ninger som følge af projektets forsinkelse i form af 2 års drift af testsystemet og tabt under-

visningstid som følge af ekstra opgaveafprøvning. Til gengæld har testene ifølge ministeriet

fået højere kvalitet på en række områder.

Opgaveafprøvning

Det fremgår af be-

mærkningerne til

L 101, at afprøvning af

opgaver ikke medfører

udgifter til aflønning af

lærere og skoleledere

mv., da afprøvning af

opgaver foregår i un-

dervisningstiden med

brug af eksisterende

udstyr.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INFORMATION TIL FOLKETINGET

VI. Information til Folketinget

UNDERSØGELSENS RESULTATER

Undervisningsministeriets oplysninger til Folketinget har været korrekte fra februar

2005 til udgangen af 2009 og har dermed givet et korrekt billede af projektets status.

149. Rigsrevisionen har vurderet, om Undervisningsministeriets løbende oplysninger til Fol-

ketinget fra februar 2005 til udgangen af 2009 har givet et korrekt billede af projektets sta-

tus.

150. For at vurdere dette har Rigsrevisionen undersøgt, om ministeriets informationer til Fol-

ketinget om tid, økonomi, testenes indhold og leverandøren har været korrekte og omfattet

alle væsentlige forhold i de 2 perioder:

•

fra regeringsgrundlaget fremlægges i februar 2005, til L 101 fremsættes i december 2005

efter fremsættelsen af L 101 i december 2005 til udgangen af 2009.

151. De 2 perioder adskiller sig på den måde, at Folketinget først blev inddraget formelt i

projektet ved fremsættelsen af lovforslaget om de nationale test. Desuden var det først ved

2. udbud, der blev igangsat efter lovforslaget, at projektets it-udgifter steg til over 50 mio. kr.,

hvorved projektet blev omfattet af budgetvejledningens krav om Finansudvalget tiltrædelse.

Undervisningsministeriet har således først haft en egentlig pligt til at orientere Folketinget

om projektets status i den 2. periode.

152. Rigsrevisionen har undersøgt, om informationen til Folketinget om projektets status i

begge perioder har været korrekt i den forstand, at oplysningerne ikke er i modstrid med de

oplysninger, som Rigsrevisionen har lagt til grund for den øvrige undersøgelse. Herunder

har Rigsrevisionen vurderet, om informationen omfatter alle væsentlige forhold, som Rigs-

revisionen har fået kendskab til gennem sin undersøgelse, og som Undervisningsministe-

riet i de 2 perioder burde oplyse Folketinget om.

153. Rigsrevisionen har gennemgået det materiale, som Undervisningsministeriet har ud-

leveret til Folketinget i forbindelse med projektet, herunder Finansudvalget, Uddannelses-

udvalget og Folkeskolens Forligskreds. Af tabel 3 fremgår en oversigt over materialet.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

INFORMATION TIL FOLKETINGET

Tabel 3. Oversigt over de dokumenter, som er tilgået Folketinget vedrørende de

nationale test fra februar 2005 til udgangen af 2009

(Antal)

Orientering af Uddannelsesudvalget

- heraf svar på spørgsmål fra Uddannelsesudvalget

- heraf statusnotater om projektet

Notater til Folkeskolens Forligskreds

- heraf svar på spørgsmål fra Folkeskolens Forligskreds

- heraf statusnotater om projektet

Aktstykker til Finansudvalget

Spørgsmål til aktstykkerne

§ 20-spørgsmål fra folketingsmedlemmer

Dokumenter om nationale test i alt

Note: I spørgsmål fra Uddannelsesudvalget er ikke medtaget åbent samråd mv.

Kilde: Rigsrevisionens optælling af materiale fra Undervisningsministeriet.

163

154. Tabel 3 viser, at Undervisningsministeriet har fremsendt i alt 163 dokumenter til Folke-

tinget. 72 af dokumenterne er gået til Folkeskolens Forligskreds i form af statusnotater, be-

svarelser af spørgsmål og andet. Derudover har Finansudvalget i perioden behandlet 7 akt-

stykker. Ministeriet har besvaret 26 spørgsmål til aktstykkerne og 12 § 20 spørgsmål til pro-

jektet.

155. Rigsrevisionens undersøgelse viser, at Undervisningsministeriets oplysninger til Folke-

tinget, herunder Uddannelsesudvalget og Folkeskolens Forligskreds, i de 2 perioder er kor-

rekte og omfatter de informationer, som ministeriet burde videregive.

Vurdering

156. Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen af

2009 om udviklingen i projektet har været korrekte og omfatter de væsentlige forhold, som

ministeriet burde videregive i perioden.

Rigsrevisionen, den 13. januar 2010

Henrik Otbo

/Inge Laustsen

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

OVERSIGT OVER BEGIVENHEDER

Bilag 1. Oversigt over begivenheder

År/måned

2005:

Februar

Marts

April

Maj

Juni

August

September

Begivenhed

Regeringsgrundlag.

Undervisningsministeriets interne foreløbige skøn på udgifter for projektet på 68,7 mio. kr.

Beslutning om EU-udbud.

Undervisningsministeriet indleder samarbejde med rådgivningsfirmaet.

Udbudsbekendtgørelse offentliggøres.

3 konsortier prækvalificeres.

Udbudsmateriale sendes.

Ét af de 3 prækvalificerede konsortier trækker sig.

Den økonomiske ramme for udbud hæves fra 30-35 mio. kr. til 39 mio. kr.

2 konsortier afgiver endelige tilbud. Kun ét tilbud er konditionsmæssigt.

Politisk forlig om nationale test.

Beslutning om afslutning af udbuddet uden ordretildeling.

Beslutning om nyt udbud i forbindelse med afslutning af 1. udbud.

L 101 fremsættes.

Udbudsbekendtgørelsen offentliggøres.

Oktober

December

2006:

Februar

Juni

2 konsortier prækvalificeres.

Udbudsmateriale fremsendes.

Akt 191 – igangsættelse af projektet inkl. bevilling. Afgjort den 1. juni og fremsat den 27. juni

(fortroligt indtil kontraktindgåelsen).

2 endelige tilbud, heraf er ét konditionsmæssigt.

Valg af leverandør.

Kontrakten indgås (30. juni 2006).

Første afvigelser i produktionsplanen.

Beslutning om ekstra opgaveafprøvning i februar.

Skolestyrelsen overtager projektet.

Ordinær opgaveafprøvning og efterfølgende Rasch-analyse.

November

December

2007:

Januar

Marts

April

Maj

August

Oktober

December

Den ekstraordinære opgaveafprøvning flyttes fra februar til marts.

Beslutning om evaluering af opgaver og den adaptive testmetode (review) efter den 1. obligatoriske

testrunde. Den bodsgivende milepæl ”Godkendelse af opgavebanken” flyttes til efter reviewet.

2 profilområder må udgå af 1. testrunde på grund af for få opgaver.

Der gennemføres generalprøve på systemet – tekniske problemer.

Afvikling af 1. testrunde. Enkelte tekniske problemer og forsinkede tilbagemeldinger til lærerne.

Evalueringsrapport om afviklingen af 1. testrunde foreligger.

Akt 15 – ny hovedtidsplan. Fremsat den 2. oktober og afgjort den 11. oktober.

Reviewseminar og -rapport.

Undervisningsministeriet varsler opkrævning af bod for forsinkelser, da ministeriet ikke har kunnet

godkende opgavebanken efter review.

Statsrevisorerne beretning SB5/2009 - Bilag 1: Beretning om udviklingen af de nationale test

OVERSIGT OVER BEGIVENHEDER

År/måned

2008:

Januar

Begivenhed

Undervisningsministeriet beslutter at udskyde alle obligatoriske test, så 2008 kommer til at fungere

som øve-/prøveår.

Det opgives at udarbejde national præstationsprofil på baggrund af testafviklingen i maj 2007.

Akt 109 – ny tidsplan. Fremsat den 4. marts og afgjort den 30. april.

Der indgås forlig med leverandøren.

Akt 35 (orienterende) om ændret tidsplan. Fremsat den 18. november og afgjort den 18. december.

Marts

Juni

November

2009:

Marts

Maj

Juni

Juli

Oktober

November

December

2010:

Februar

April

Pilotfase påbegyndes.

Akt 110 (orienterende) om kontraktforlængelse. Fremsat den 3. marts og afgjort den 12. marts.

Ministeriet opkræver bod for mangler i opgavebanken og tilgængelighed af test.

Pilot på læsetesten – der lånes opgaver mellem klassetrinene.

Akt 157 (orienterende) om bod og risikoprofil. Fremsat den 9. juni og afgjort den 2. september.

Tillægsaftale med leverandøren om, at boden kan genindvindes, hvis leverandøren lever op til

bestemte betingelser.

Der åbnes for frivillig afvikling af test.

Akt 18 (orienterende) om, at de nationale test tages i brug som obligatoriske test i foråret 2010.

Fremsat den 27. oktober og afgjort den 5. november.

Milepæl for færdiggørelse af testopgaver til test undtagen dansk/læsning.

Milepæl: Færdiggørelse af testopgaver til dansk/læsning.

Obligatoriske test indledes.

Obligatoriske test afsluttes.

Milepæl: Godkendelse af testsystem inkl. tilgængelighed.