Offentlig rating. Upålidelige tal dømmer institutionerne

Hvad synes du om dit barns børnehave på en skala fra 1 til 5?

Danskerne har de seneste par år vænnet sig til at give karakterer til tele­selskabet, banken, hotellet, kommunen, varehuset, bilværkstedet …

Nu er institutionsverdenen også blevet en del af ratingkulturen.

I slutningen af september lancerede tre ­ministerier og Kommunernes Landsforening (KL) tilfredshedsportalen.dk. Her kan alle interesserede se resultaterne af de brugertilfredshedsundersøgelser, som de enkelte institutioner har foretaget i 2011 og 2012 i de 17 kommuner, der foreløbig har valgt at koble sig på portalen.

’Sammenlignelige brugertilfredshedsundersøgelser’ kalder man konceptet i KL. Og man er da heller ikke i tvivl om, hvad en af hensigterne er, når man surfer rundt på tilfredshedsportalen: Sammenligning. Regioner, kommuner og individuelle institutioner holdes direkte op mod hinanden. De bedste institutioner ligger i toppen, og de dårligste ligger i bunden. På portalens lanceringsdato begrundede indenrigsminister Margrethe Vestager (R) projektet med disse ord: »Hvad gør andre bedre, som vi måske kunne lære af?« Lederne af henholdsvis den bedste og den dårligst rangerede institution i Lyngby ­Taarbæk Kommune gik med på præmissen, da de stillede op til interview. »Jeg er stolt,«, sagde lederen af den gode institution. »Vi kan lære at blive mere tydelige,« sagde lederen af den dårlige.



Sniksnak i porten. Ifølge en af de førende eksperter i kunde- og brugertilfredshed i Danmark, direktør på Voxmeter Christian Stjer, må der stilles minimumskrav til undersøgelsesmetoden, for at tallene kan tages alvorligt.

»Et af de helt afgørende parametre er, at man sikrer sig en høj deltagelse fra forældrene. Hvis deltagelsen er under 70 procent, er det problematisk. Kommer man under 60 procent, er tallene ikke andet end tilfældig sniksnak i porten. At offentliggøre tal med så spinkel deltagelse er useriøst,« siger Christian Stjer.

En stikprøve i Fredericia Kommune viser, at i 10 ud af i alt 33 tilfredshedsundersøgelser har under 40 procent af forældrene gennemført undersøgelsen. Kun 9 af de 33 undersøgelser når op på de 60 procent, som bør være absolut minimum for at man kan regne med tallene. Ingen af undersøgelserne opnår den analyseetisk ’korrekte’ deltagelsesprocent på 70. Det er foruroligende, mener Christian Stjer.

»Den nye tilfredshedsportal lider af de samme skavanker, som vi ser fra de mange kunde- og medarbejdermålinger, som i disse år gennemføres for selve målingens og ikke for læringens skyld. Alt for ofte betyder det, at man styrer efter de mest højtråbende, de mest rygklappende eller den gruppe, der har stærkest incitament til at mobilisere sig.« »Når resultaterne, som de tager sig ud på portalen nu, er så upålidelige, er risikoen uacceptabel høj for, at man tager ved lære af vildledende tal og træffer beslutninger på baggrund af dem,« siger Christian Stjer.

Det er op til hver enkelt kommune, om den vil offentliggøre målinger med lav deltagelse, og det ser en af de ansvarlige for Tilfredshedsportalen, chefkonsulent i KL Charlotte Wulff, ikke noget problem i. »Alle resultater kan bruges positivt som feedback. Når vi når ned på 30 procent deltagelse, er der dog en anmærkning om lav deltagelse i rapporten,« fortæller hun.



Øjebliksbilleder. Lederen af Børnehuset Mælkevejen i Lyngby Taabæk Kommune, Marianne Mikkelsen, er den første daginstitutionsleder, der offentligt har måttet stå på mål for en dårlig rating på portalen.

3.4 er tallet for Mælkevejen, som ligger i en kommune med et gennemsnit på 4.2. Derfor var det selvfølgelig hende, TV-Avisen ville snakke med på lanceringsdagen.

Indslaget viste ikke, at TV Avisen forgæves havde forsøgt at finde negative forældre, der ville udtale sig om Mælkevejen. Det lykkedes kun at finde en mor, som sagde, at hun ikke kunne se, hvad hun skal bruge sådan et tal til, hvis hendes barn ellers trivedes. Marianne Mikkelsen vælger dog at tage de positive briller på.

»Der er ingen problemer i at modtage al den feedback, man overhovedet kan få fra forældrene og bruge den konstruktivt i institutionen. Den dialog, der efterfølgende kom ud af undersøgelsen både med forvaltningen og internt i institutionen, var der heller ikke noget i vejen med. Problemet er, at her bliver offentliggjort et tal, som for det første kan være misvisende. For det andet bliver det stående lang tid efter det øjebliksbillede, som de her undersøgelser jo er, og derfor kan et tal være udtryk for noget rigtigt i lige i de uger, men ikke ellers. For det tredje kender folk ikke baggrunden for tallet,« siger Marianne Mikkelsen. Ønsket om at måle og veje institutionerne er en ensidig, sort-hvid måde at tænke ’kvalitet’, mener Marianne Mikkelsen.

»Når man skal arbejde med børns læring, foregår det i processer og forløb, som er uhåndgribelige. Hvordan skulle man med et tal mellem 1 og 5 kunne måle, at et personale har en god og energisk udstråling, og at børnene som følge deraf er nysgerrige og livlige? Det er ikke så firkantet. Derfor håber jeg virkelig, at man vil omgås de offentliggjorte tal med et gran salt. Jeg har tillid til, at forældre kan forholde sig kritisk, men et skrækscenarie kunne være, at der opstår en kultur, hvor de, der skal vælge institution, starter undersøgelsen med at gå ind og kigge på ratings,« siger Marianne Mikkelsen.



OM PORTALEN

Tilfredshedsportalen blev åbnet for offentligheden torsdag den 26. september 2013.

På portalen offentliggøres resultaterne af de brugertilfredshedsundersøgelser, der er blevet lavet i kommuner, som frivilligt har valgt at koble sig på portalen.  

Portalen er udviklet i et samarbejde mellem Økonomi- og Indenrigsministeriet, Social-, Børne- og Integrationsministeriet, Undervisningsministeriet og Kommunernes Landsforening. Formålet er at understøtte kommunernes arbejde med at udvikle kvaliteten. 



BUPL: Uheldigt og upålideligt

BUPL-formand Henning Pedersen er kritisk over for den nye portal.



Der er ikke mange, som har taget særlig notits af Tilfredshedsportalen. Det er frivilligt for kommunerne, om de vil koble sig på. Hvis en kommune vælger at deltage, er det også frivilligt, om den vil offentliggøre tal for den enkelte institution.

Portalen er helt nystartet og formodes at leve et stille liv på internettet et stykke tid endnu. Men intentionen er klar, og da portalen blev lanceret, blev den formuleret sådan her af Erik Nielsen (S), formand for Kommunernes Landsforening (KL) :

»De andre kommuner skal nok følge trop, også selvom resultaterne måske ikke er så gode. Hvis man fortsat vil tiltrække nye borgere, så bliver man nødt til at lægge sig i selen.« Formanden for BUPL, Henning Pedersen, er stærkt skeptisk over for udviklingen. »Man skal være varsom med at tolke på tilfredshedsundersøgelser. De kan være udmærkede som udgangspunkt for en dialog i den enkelte institution. Men at offentliggøre dem, så man kan sammenligne på tværs af institutioner og kommuner, har intet at gøre med kvalitetsudvikling,« siger han.

»Hvorfor vil man lade så upålidelige tal stå alene i al offentlighed? Hvis det var for at informere forældre ordentligt om institutionerne, så ville de også kunne få noget ud af at høre om mange andre forhold på institutionen. Et tal i sig selv er slet ikke noget, man som forældre bør forholde sig til. Men der er åbenbart et stærkt politisk ønske om at kunne måle og veje velfærdssamfundet. På en meget uheldig måde blander man dette ønske sammen med kvalitetsudvikling,« siger Henning Pedersen.