Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

Finansudvalget 2016-17
sb 13 5
Offentligt

Januar 2020

Rigsrevisionens notat om

beretning om

grundlaget for at

dokumentere eﬀekt

af sociale indsatser

Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

Fortsat notat til Statsrevisorerne

Opfølgning i sagen om grundlaget for at dokumentere

effekt af sociale indsatser (beretning nr. 13/2016)

6. januar 2020

RN 301/20

1. Rigsrevisionen følger i dette notat op på sagen om grundlaget for at dokumentere

effekt af sociale indsatser, som blev indledt med en beretning i 2017. Vi har tidligere

behandlet sagen i notat til Statsrevisorerne af 28. august 2017.

Sagsforløb for en større

undersøgelse

Beretning

Konklusion

Social- og Indenrigsministeriet (herefter Socialministeriet) har iværksat initiativer, som

skal sikre, at data i de nationale statistikker er retvisende, dvs. pålidelige, dækkende

og aktuelle. Ministeriet har bl.a. etableret standardiserede og faste procedurer for da-

taindsamling, datavalidering, kvalitetssikring og offentliggørelse. Ministeriet har også

udstedt en databekendtgørelse, der samler alle regler om dataindberetning på social-

området. Ministeriet samarbejder med Danmarks Statistik, kommunerne og kommu-

nernes systemleverandører om at løse tekniske udfordringer relateret til system-til-sy-

stem-indberetninger, der forhindrer kommunerne i at indberette socialdata og efterføl-

gende kvalitetssikre dem. Ministeriet har også udarbejdet en analysestrategi og en ana-

lyseplan for, hvordan data i de nationale statistikker kan bruges til at dokumentere ef-

fekt af sociale indsatser. Ministeriet har taget stilling til, hvilke typer af analyser mini-

steriet har mulighed for at gennemføre ved hjælp af de nationale statistikker, og mini-

steriet har i den forbindelse planlagt, at VIVE skal gennemføre en effektanalyse på an-

bringelsesområdet. Ministeriet har oplyst, at ministeriet i sit strategiske analysearbejde

vil prioritere registerbaserede analyser, der i højere grad nærmer sig effektanalyser.

Det er Rigsrevisionens opfattelse, at Socialministeriets arbejde med systematisk at sikre

et tilstrækkeligt grundlag for at dokumentere effekt af sociale indsatser ved hjælp af de

nationale statistikker har et tidsperspektiv, der rækker adskillige år frem i tiden og vil

kræve en vedvarende indsats. Det er også Rigsrevisionens opfattelse, at ministeriet, si-

den Rigsrevisionen afgav beretningen, har iværksat initiativer, der samlet set skal sikre,

at retvisende data fra de nationale statistikker bliver indsamlet, offentliggjort og der-

med kan bruges til at dokumentere effekt af sociale indsatser. Rigsrevisionen finder ini-

tiativerne tilfredsstillende og vurderer, at sagen kan afsluttes.

Ministerredegørelse

§ 18, stk. 4-notat

Fortsat notat

Sagen afsluttes

Du kan læse mere om

forløbet og de enkelte step

på www.rigsrevisionen.dk

Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

Rigsrevisionen baserer denne konklusion på følgende:

•

Socialministeriet har udstedt en databekendtgørelse, som samler alle regler om da-

taindberetning på socialområdet. Bekendtgørelsen fastsætter krav til, hvilke data

kommunerne skal indberette, og tekniske krav til selve dataindberetningen. Social-

ministeriet har gennem kontrakter med Danmarks Statistik etableret standardisere-

de og faste arbejdsgange for datavalidering og kvalitetssikring af sociale data.

Socialministeriet har i samarbejde med Danmarks Statistik, kommunerne og system-

leverandører arbejdet for at løse tekniske problemer vedrørende dataindberetning

og kvalitetssikring og har sikret, at der er mulighed for at indrapportere på en alter-

nativ måde, indtil alle tekniske problemer bliver løst. Dette har betydet, at flere og

flere kommuner hvert år godkender egne data og dermed kommer med i de 4 stati-

stikker.

Socialministeriet har udarbejdet en analysestrategi, der prioriterer registerbaserede

analyser og effektanalyser ved hjælp af de nationale statistikker.

Socialministeriet har planlagt en effektanalyse på anbringelsesområdet.

•

I. Baggrund

2. Rigsrevisionen afgav i marts 2017 en beretning om grundlaget for at dokumentere

effekt af sociale indsatser. Beretningen handlede om, hvorvidt Socialministeriet hav-

de sikret et tilstrækkeligt grundlag for at dokumentere effekt af sociale indsatser ved

hjælp af de nationale statistikker. Et tilstrækkeligt grundlag for at dokumentere effekt

af sociale indsatser kræver, at Socialministeriet har specificeret, hvilke data der er be-

hov for at indsamle og kvalitetssikre fra kommunerne. Ministeriet skal også gøre data

tilgængelige via de nationale statistikker og bruge data til at gennemføre effektanaly-

ser. De 4 nationale statistikker, som beretningen handler om, er:

•

anbringelsesstatistikken

statistikken om forebyggende foranstaltninger

handicapstatikken

statistikken om stofmisbrugere.

3. Statsrevisorerne bemærkede, at Socialministeriets indsats for at få mere viden om,

hvilke sociale indsatser der har den bedste virkning for borgerne, har været uaccep-

tabelt langsommelig. Statsrevisorerne fandt det kritisabelt, at Socialministeriet ikke i

tilstrækkelig grad havde sikret, at retvisende data blev indsamlet, offentliggjort i nati-

onale statistikker og anvendt til at dokumenter effekt af sociale indsatser.

Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

4. På baggrund af beretningen og Statsrevisorernes bemærkninger har vi fulgt op på

følgende punkter:

Opfølgningspunkt

1. Socialministeriets og Danmarks Statistiks arbej-

de med at etablere standardiserede og faste proce-

durer for kvalitetssikring samt udstedelsen af en da-

tabekendtgørelse med henblik på at sikre pålidelige,

dækkende og aktuelle data i de nationale statistik-

ker.

2. Socialministeriets arbejde med at løse de tekni-

ske udfordringer med kommunernes indberetninger

i samarbejde med kommuner og systemleverandø-

rer.

3. Socialministeriets arbejde med at udarbejde pla-

ner eller strategier for at anvende data i de nationa-

le statistikker til dokumentation af effekt af sociale

indsatser og ministeriets initiativer til at gennemføre

analyser, der kan bidrage til at dokumentere effekt

af sociale indsatser.

Status

Behandles i dette notat.

Et opfølgningspunkt afsluttes,

når Statsrevisorerne på bag-

grund af indstilling fra Rigsre-

visionen vurderer, at myndig-

hedernes initiativer er tilfreds-

stillende.

Behandles i dette notat.

5. Vi redegør i dette notat for resultaterne af opfølgningen på ovenstående punkter.

Hele sagen og dens dokumenter kan følges på www.rigsrevisionen.dk og på

www.ft.dk/Statsrevisorerne.

II. Socialministeriets initiativer

6. Vi gennemgår i det følgende Socialministeriets initiativer i forhold til de udestående

opfølgningspunkter. Gennemgangen er baseret på løbende opfølgning samt redegø-

relser og dokumentation fra ministeriet.

Socialministeriets initiativer til at sikre retvisende data

7. Statsrevisorerne fandt det kritisabelt, at Socialministeriet ikke i tilstrækkelig grad

havde sikret, at retvisende data blev indsamlet og offentliggjort i nationale statistikker

og anvendt til at dokumentere effekten af sociale indsatser.

8. Vores gennemgang viser, at Socialministeriet og Danmarks Statistik har etableret

standardiserede og faste procedurer for dataindsamling, datavalidering og kvalitets-

sikring for de 4 statistikker. Ministeriet har også udstedt en databekendtgørelse, der

samler alle regler om dataindberetning på socialområdet ét sted, herunder fastsætter

tekniske krav til indberetning af data og krav til, hvilke data kommunerne skal indbe-

rette. Bekendtgørelsen giver også Socialministeriet mulighed for at pålægge kommu-

nerne at udarbejde en handleplan ved mangelfulde indberetninger.

Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

9. Socialministeriet har oplyst, at ministeriet har påtaget sig en større rolle i processen

med at validere kommunernes dataindberetninger. Processen er fastlagt i kontrakter

mellem Socialministeriet og Danmarks Statistik. Kontrakterne angiver gennem årshjul

for de 4 statistikker, hvornår data skal indberettes og kvalitetssikres, og hvornår Dan-

marks Statistik følger op på mangelfulde indberetninger. Det gør Danmarks Statistik

bl.a. ved at bede kommunerne validere data på baggrund af cpr-lister. Danmarks Sta-

tistik følger op med rykkere til de kommuner, som ikke indberetter, og Socialministe-

riet kan supplere rykkerne med breve til kommunaldirektørerne, som minder kommu-

nerne om deres ansvar og pligt til at indberette data på socialområdet. Kontrakterne

mellem Socialministeriet og Danmarks Statistik angiver også, hvornår de 4 statistik-

ker skal offentliggøres.

10. Rigsrevisionen finder det tilfredsstillende, at Socialministeriet har etableret stan-

dardiserede og faste procedurer for indsamling, kvalitetssikring og offentliggørelse og

har udstedt en databekendtgørelse med henblik på at sikre pålidelige, dækkende og

aktuelle data. Rigsrevisionen vurderer på den baggrund, at denne del af sagen kan af-

sluttes.

Socialministeriets initiativer til at løse tekniske udfordringer ved data-

indberetning

11. Det fremgik af beretningen, at Socialministeriet ikke i tilstrækkelig grad havde un-

derstøttet, at data indsamlet fra kommunerne var pålidelige, dækkende og aktuelle.

Det skyldtes bl.a., at kommunerne havde udfordringer med deres tekniske løsninger

til at indberette data. Kommunerne indberetter enten data gennem forskellige sy-

stem-til-system-løsninger eller gennem Danmarks Statistiks webadgang.

12. Socialministeriet har oplyst, at tekniske problemer med system-til-system-løsnin-

ger typisk opstår, når data skal valideres, når kommunen skifter system, eller når der

er ændringer i dataindberetningskravene. Det er fx ikke muligt for kommunerne at se

de data, de har indberettet, når først dataene er sendt til Danmarks Statistik. Ministe-

riet har oplyst, at Danmarks Statistik er ved at udarbejde en kravspecifikation til et dia-

logværktøj, der muliggør, at kommunerne kan se deres egne indberetninger, uanset

hvilken systemleverandør kommunen har valgt.

Socialministeriet har oplyst, at arbejdet med at løse udfordringer relateret til system-

til-system-indberetninger pågår dagligt i Danmarks Statistik og i tæt kontakt med sy-

stemleverandører og kommuner. Arbejdet er forankret i en arbejdsgruppe pr. stati-

stik, som mødes med fast kadence eller efter behov. Grupperne består af Socialmini-

steriet, Danmarks Statistik og KL, og grupperne inddrager systemleverandørerne ef-

ter behov.

13. Danmarks Statistik og Socialministeriet har arbejdet på at skabe et overblik over

kommunernes konkrete problemer med dataindberetning, som relaterer sig til de en-

kelte systemløsninger, og har i samarbejde med systemleverandørerne udarbejdet

konkrete løsninger, der sikrer, at data, på nuværende tidspunkt kan indberettes på an-

dre måder, fx i Excel-filer.

Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

14. Socialministeriet har også arbejdet på mere varige løsninger til de tekniske udfor-

dringer. Ministeriet har fx i kontrakter med Danmarks Statistik og i databekendtgørel-

sen udspecificeret frister for varsling af ændringer af indberetningskravene til system-

leverandørerne og til kommunerne, så der er tid til, at ændringerne kan implementeres

uden at påvirke kvaliteten af data. Danmarks Statistik har også udarbejdet en vejled-

ning til kommunerne, når de skifter systemleverandør, så kommunernes data ikke går

tabt i overgangen.

I et fortsat samarbejde mellem Socialministeriet og KL er det et prioriteret område at

afdække flere udfordringer for dataindberetning og kvalitetssikring samt udarbejde

løsningsforslag.

15. Rigsrevisionen finder det tilfredsstillende, at Socialministeriet og Danmarks Stati-

stik arbejder med at løse de tekniske udfordringer med kommunernes indberetninger

i samarbejde med kommuner og systemleverandører. Socialministeriet har derudover

dokumenteret, at flere og flere kommuner hvert år godkender data og kommer med

i offentliggørelserne af de 4 nationale statistikker. Rigsrevisionen vurderer derfor, at

denne del af sagen kan afsluttes.

Socialministeriets initiativer til at sikre brugen af de nationale statistik-

ker til effektanalyser

16. Statsrevisorerne fandt det kritisabelt, at Socialministeriet ikke i tilstrækkelig grad

havde sikret, at retvisende data blev indsamlet og offentliggjort i nationale statistikker

og anvendt til at dokumentere effekten af sociale indsatser.

17. Socialministeriet har udarbejdet en datastrategi i 2016 og en analysestrategi i 2019.

De 2 strategier sætter rammen for det strategiske arbejde med at dokumentere effek-

ter af sociale indsatser. Ministeriet har oplyst, at ministeriet i sit strategiske analysear-

bejde vil prioritere registerbaserede analyser, der nærmer sig egentlige effektanaly-

ser, og løbende afsøge mulighederne for at gennemføre sådanne analyser. Ministeriet

skelner i sin planlægning mellem registeranalyser, der bevæger sig i retning af effekt-

analyser, og egentlige effektanalyser baseret på individdata.

Socialministeriet har på baggrund af analysestrategien udarbejdet en samlet analyse-

plan for ministeriet, der skal prioritere det løbende arbejde med at udbygge ministe-

riets datagrundlag for registerbaserede analyser, i første omgang på social- og dag-

tilbudsområdet.

18. Socialministeriet har oplyst, at det er et væsentligt opmærksomhedspunkt, at det

i mange tilfælde ikke vil være muligt at gennemføre effektstudier af konkrete sociale

indsatser, der er baseret på registerdata. Det skyldes ifølge ministeriet bl.a., at konkre-

te indsatser generelt ikke registreres på individniveau, og at der er en meget betydelig

variation i indsatsernes karakter og omfang. Ministeriet har videre oplyst, at gruppen

af borgere, som modtager hjælp og støtte inden for en given paragraf, er meget for-

skellige, og derfor vil det være svært ved hjælp af registerdata at kontrollere for indivi-

duelle forskelle, fordi registerdata ikke kan sige noget direkte om ”tyngden” af det en-

kelte individs problemer. Ministeriet har desuden oplyst, at ministeriets analyser på

baggrund af de nationale statistikker primært har og vil have karakter af deskriptive

analyser og fx skal bruges i ministeriets socialpolitiske redegørelse.

Statsrevisorerne beretning SB13/2016 - Bilag 5: Rigsrevisionens fortsatte notat af 6. januar 2020

19. Det fremgår af Socialministeriets analyseplan, at der skal igangsættes 3 analyser,

som skal belyse de langsigtede effekter af sociale indsatser til børn og unge med data

fra de nationale statistikker. Konkret indeholder analyseplanen en effektanalyse, hvor

VIVE gennem trækningsretten skal analysere effekterne af forskellige anbringelsesty-

per på anbragte unges resultater i skolen, og om de overgår til en ungdomsuddannel-

se. Analyseplanen lægger også op til 2 yderligere analyser med data fra de nationale

statistikker, der også nærmer sig egentlige effektanalyser. Den ene er en undersøgel-

se af sammenhængen mellem plejeforældres karakteristika og anbragte børns resul-

tater i 9. klasses afgangseksamen. Den anden er en undersøgelse af sammenhænge-

ne mellem forskellige risiko- og beskyttelsesfaktorer, og hvordan anbragte unge kla-

rer sig i ungdoms- og voksenlivet.

20. Rigsrevisionen finder det positivt, at Socialministeriet har udarbejdet strategier

for arbejdet med at dokumentere effekt af sociale indsatser. Rigsrevisionen finder det

også positivt, at ministeriet har taget stilling til, hvilke typer af analyser det er muligt at

gennemføre, og har udarbejdet konkrete analyseplaner, der indeholder et effektstudie

på anbringelsesområdet ved hjælp af de nationale statistikker.

Lone Strøm