Dokumentation af resultater og virkninger - hvad mener de egentlig?

Af Mette Hjære, Center for frivilligt socialt arbejde

Der findes et utal af forskellige måder at kaste sig over opgaven med at dokumentere virkninger af sociale indsatser. Den metode som Socialministeriet har valgt at benytte i den sociale sektor kaldes performance management - dvs. 'præstationsstyring'. Denne metode anvendes ind til videre også i forhold til den frivillige sociale sektor.

I det følgende vil vi skitsere grundbestanddelene i performance management suppleret med kommentarer fra Lone Tinor-Centi, som er afdelingschef i Dansk Flygtningehjælps frivilligafdeling. Dansk Flygtningehjælp deltager pt. i et pilotprojekt under Integrationsministeriet, som handler om, hvordan man kan udvikle metoder, der kan bruges til effektmåling i det frivillige arbejde.

På spørgsmålet om hvorfor Dansk Flygtningehjælp gik med i projektet svarer Lone Tinor-Centi:

- Vi sagde ja til at deltage, for det Integrationsministeriet fortalte os var, at effektmåling sådant set var kommet for at blive, idet der i forbindelse med støtte fra de forskellige offentlige puljer fremover ville blive stillet krav om effektmåling. Så tænkte vi, lad os da gå ind i det og se om vi kan være med til at påvirke metoden. Og som organisation vil vi jo gerne vise betydningen af det arbejde, vi laver - vi vil gerne dokumentere, det vi gør.

Hidtil har vi en gang årligt udsendt et spørgeskema til vores frivilliggrupper - et skema som spørger til antallet af flygt-ninge/indvandrere, der kommer og benytter de forskellige aktiviteter. Men vi er da helt med på, at det kunne være rart for os at vide, hvilken forskel denne indsats så gør, og derfor sagde vi ja til pilotprojektet".

To analyser

Arbejdet med performance management består af to analyser: En organisationsanalyse og en målingsanalyse. Udgangspunktet er, at man er nødt til at gennemføre den første analyse for overhovedet at kunne udtale sig om, hvad det er, der eventuelt skal måles på. Først derefter kan man begynde at over-veje hvilke kvalitativ og kvantitative opgørelser, der kan være de rigtige for at få indsigt i resultater og virkninger af indsatsen.

Organisationsanalysen

Organisationsanalysen handler om, at man som organisation udkrystalliserer det eller de præcise mål man har i forhold til at skabe, ændre eller fjerne bestemte sociale eller sundhedsmæssige forhold i en bestemt målgruppe.

I organisationsanalysen er det vigtigt at gøre sig klart, hvordan det er, man forestiller sig, at ændring skal ske og hvilke forudsætninger, som skal være til stede, for at der sker den ændring i målgruppen, som man stræber efter.

Ud fra analysen af mål og forudsætninger kortlægges organisationens forskellige forestillinger om virkning: Hvad er det langsigtede virkningsmål for brugerne og hvilke mere kortsigtede virkninger skal opnås for at den langsigtede virkning indtræffer? For eksempel: Hvis målet er at brugerne af et sorg- eller krisetilbud på langt sigt skal være afklarede om fortiden og nyorienterede i forhold til fremtiden, så er det på kort sigt et virkningsmål, at de får bearbejdet, spejlet og gennem-levet sorgen eller krisen.

Derefter analyseres organisationens aktiviteter og ressourcer i forhold til, hvordan man forsøger at arbejde på at skabe de forskellige virkninger og resultater.

Dette kaldes i nogle sammenhænge en forandringsteori - i andre en programteori eller programlogik. Forandringsteorien kan være mere eller mindre ambitiøs og realistisk alt efter kapacitet og behov i organisationen.

Det er også nødvendigt, sådan som f.eks. Dansk Flygtningehjælp har gjort, at overveje, hvad der er vanskeligt at beskrive gennem organisationsanalysen og de årsagssammenhænge den tager udgangspunkt i. Herom fortæller afdelingsleder Lone Tinor-Centi:

- Det vi har oplevet, og som vi godt vidste på forhånd, var, at det ikke er helt let fordi frivilligt arbejde bygger på en dobbelthed, som på den ene side går ud på, at vi som organisation skal levere en ydelse, og på den anden side er frivilligarbejdet idébårent. Vores udgangspunkt - når vi går ind i et arbejde, der undersøger hvilke metoder, der kan vise hvilke forskelle, vores arbejde gør for flygtningen - er derfor, at dokumentation og effektmåling skal tage hensyn til denne dobbelthed - det skal give mening både for de frivillige og for flygtningene.

Når analysen af organisationen, mål og forudsætninger er gennemført kan overvejelserne om at opstille et dokumentationssystem begynde.

Målingsanalysen

Den anden analyseproces tager udgangspunkt i de rækker af årsagssammenhænge som organisationsanalysen har kortlagt. Spørgsmålet er her, hvilke kendetegn ved de forskellige processer og virkninger, man kan observere, registrere eller spørge til, for at få viden om i hvilken udstrækning de gennemførte aktiviteter fører til de forventede resultater og virkninger.

Ved at opstille forskellige kvalitative og kvantitative indikatorer for de dele af forandringsteorien man ønsker at følge med i, opbygger man et system af indikatorer, der kan give viden om, hvordan det går med at opnå de ønskede virkninger på forskelligt niveau. De erfaringer man har gjort sig i Dansk Flygtningehjælp viser, at det er betydeligt lettere sagt end gjort, Lone Tinor-Centi forklarer:

- Vores held har været, at vi har haft en medarbejder, som kendte til det (arbejdet med forandringsteorier) i forvejen. Hvis vi ikke havde haft det, så var vi ikke nået så langt, som vi er.

Vi har ikke fået nogen speciel støtte undervejs. Vi har holdt utallige interne møder og talt om, hvordan kan det her lade sig gøre? Vi kom hurtigt frem til, at hvis man skal tænke i forandringsteori, så er det fuldstændig ud i yderste konsekvens. Det kan man ikke i det frivillige arbejde. Hvis vi f.eks. ser på lektiecafeerne og forandringsteorien opstiller et mål om, at effekten af vores indsats er, at flere af brugerne starter på en ungdomsuddannelse - så betyder det, at vi skal være i stand til at måle om Hassan, der går i 5. klasse nu starter på en ungdomsuddannelse om fire år. Hvordan skulle vi kunne gøre det, der er jo en masse faktorer undervejs, der kan påvirke om han starter på en ungdomsuddannelse".

Fra teori til praksis

Arbejdet er ikke gjort med en forandringsteori og indikatorer. En vigtig opgave er at få indarbejdet metoder og arbejdsgange i organisationen, så de ønskede oplysninger kan blive indsamlet relativt pålideligt og konsistent.

Ambitionen bør naturligvis være, at gøre det på en enkelt og gennemskuelig måde, der ikke stiller krav til større organisationsforandringer. Både bearbejdelse og indsamling skal helst integreres i de arbejdsrutiner, der i forvejen findes i organisationen, men ofte vil der være arbejde forbundet med dokumentationen - for både frivillige, ansatte og ledelse.

I Dansk Flygtningehjælp har man valgt at lade de ansatte tage sig af arbejdet, som Lone Tinor-Centi forklarer:

- Det er ikke de frivilliges opgaver. Det er også noget af det der har bekymret os - at nu pålægger omverdenen de frivillige endnu en opgave, som de ikke har meldt sig til. Det frivillige arbejde er jo idébårent, og "jeg har jo ikke meldt mig til at tælle, hvor mange børn der kommer ind ad døren - nej, jeg har meldt mig som lektiehjælper". Så vi skal finde en metode, der ikke pålægger de frivillige flere opgaver. I pilotprojektet er det derfor den lønnede frivilligkonsulent, som er ansvarlig for, at undersøgelsen bliver gennemført.

Under alle omstændigheder skal man også forholde sig til forandringsteorien ud fra nogle andre aspekter end de rent metodiske. Det er vigtigt, at der også kommer etiske, værdimæssige og strategiske overvejelser ind i billedet:

- Man skal stå fast, og huske på, hvad kvaliteten og idéen med det frivillige arbejde er - og ikke lade sig rende over ende af ønskerne om at måle effekten, siger Lone Tinor-Centi og fortsætter:

- Et godt råd vil være, at man hele tiden kan kigge sig selv i spejlet og stiller spørgsmålet: "Hvor langt vil vi gå?" - og så prøver man, at få det passet ind i den virkelighed, man er en del af. Det kan godt være, at det lyder relativt ukompliceret, når jeg beskriver det, men vi har da haft vildt mange diskussioner i organisationen, om vi skulle det her. Min indgang til dokumentation er, at man skal gå ind i det, også fordi vi som frivillig organisation, selv skal være med til at præge metoden, slutter Lone Tinor-Centi.

Læs mere om dokumentation i artiklerne:

• Dokumentation - Viden om virkninger
• Dokumentationsdilemmaer

Kilde: Frivillig nr. 82, 2006

Eftertryk med tydelig kildeangivelse er tilladt.