Hilde Reinertsen, Kristian Bjørkdahl, Desmond McNeill

1    0

Bistandens læringsproblem

I flere tiår har norske og internasjonale bistandsaktører diskutert hvordan evaluering kan føre til læring. Hvorfor er det da så vanskelig å få til?

Publisert: 8. jun 2017 / 385 visninger.

Av Hilde Reinertsen (TIK, UiO), Kristian Bjørkdahl (SUM, UiO) og Desmond McNeill (SUM, UiO)

Nylig lanserte Norads Evalueringsavdeling sin årsrapport for 2016. Som i fjor fokuserte rapporten på hva vi kan lære av evalueringene som er gjort det siste året: Hva forteller de oss om norsk bistandsforvaltning, og hvilke konsekvenser bør dette ha for utviklingspolitikken?

Evalueringsparadokset. Både i norsk og internasjonal bistand er læring et hovedmål for evalueringsarbeidet. Samtidig har en rekke rapporter fra inn- og utland påpekt mangelen på læring, og forsøkt å finne svar på hva som bør gjøres for å få det til. Problemet er neppe for lite evaluering og rapportering. Tvert imot har både forskere og bistandsarbeidere påpekt at denne sektoren preges av en storstilt dokumentproduksjon.

Desmond McNeill, Hilde Reinertsen og Kristian Bjørkdahl.

Som forskere var vi fascinert av dette paradokset: Den vedvarende opplevelsen av manglende læring samtidig som informasjonstilgangen har økt dramatisk. Norad er bare en av mange bistandsaktører som bestiller evalueringer. Internasjonalt er tilfanget av rapporter stort, og det øker år for år. Samtidig har Norads Evalueringsavdeling flere ganger påpekt at innsikter fra evalueringer de har bestilt ikke tas hensyn til i norsk utviklings- og utenrikspolitikk. Mer kunnskap leder ikke automatisk til læring og handling. Hva kan forklare dette?

Motstridende mål. I en studie finansiert av Expertgruppen för Bistandsanalys (EBA) i Sverige, som nylig ble offentliggjort, har vi undersøkt hvordan målet om læring kan stå i motsetning til et annet viktig formål med evaluering: å holde forvaltningen ansvarlig for hvordan bistandsmidler brukes. Dette kalles gjerne «ansvarliggjøring» på norsk (på engelsk: «accountability»). Læring og ansvarliggjøring blir ofte omtalt som bistandsevalueringens «doble formål».

I vår studie så vi disse to formålene i sammenheng, og utforsket hvordan de påvirker hverandre innenfor svensk og norsk bistandsevaluering. I analysen støtte vi stadig på spenninger og motsetninger mellom læring og ansvarliggjøring som i praksis førte til en rekke vanskelige avveininger og kompromisser. Allerede helt i startfasen av en evaluering må man ta praktiske valg som vil føre til at det ene formålet får større vekt enn det andre. De to formålene krever ulike spørsmål og metoder. I praksis fører de til vidt forskjellige evalueringsprosesser, som igjen får konsekvenser for hvordan evalueringsrapportene blir.

Utfordrende læring. Utvalget av evalueringsrapporter vi analyserte, bidro i hovedsak til å innfri målet om ansvarliggjøring: De fastslo hva som hadde skjedd, sammenlignet faktiske og planlagte resultater, og ga ris og ros til de involverte aktørene. Langt mer krevende er det å formulere nyttige anbefalinger: Vi fant at anbefalingene sjelden var godt fundert og at generelle lærdommer rapporten pekte på hadde begrenset relevans – om de i det hele tatt var formulert. Derfor er det vanskelig å se hvordan rapportene i seg selv skulle kunne bidra til læring for andre enn de aktørene som var direkte involvert i programmet som var evaluert.

Selve evalueringsprosessen er trolig en bedre kilde til læring enn de ferdige rapportene. De som jobber med å bestille og lede evalueringer jobber aktivt for å tilrettelegge for intern læring og bruk av rapportene. Men dette arbeidet kan også stå i motsetning til kravene om uavhengighet og distanse i evalueringsprosessen, som jo er viktige prinsipper for å sikre ansvarlighet og ekstern tillit til bistanden.

Hemmende ansvarskrav. Evaluering skjer aldri i et vakuum, men inngår alltid i en større politisk og organisatorisk sammenheng. Mens evalueringsansatte forsøker å bidra til læring, finnes det andre mekanismer og forventninger innenfor og utenfor bistanden som motvirker læring til fordel for ansvarliggjøring. Dette gjelder særlig måten de formaliserte systemene for oppfølging av evalueringer fungerer på, at evalueringsarbeidet får begrenset med ressurser, og at det bredere systemet for resultatbasert forvaltning (som evaluering også inngår i) skaper insentiver som reduserer viljen til å ta risiko og innrømme feil, noe som igjen motvirker åpne læringsprosesser.

Å holde forvaltningen ansvarlig er åpenbart et grunnleggende prinsipp i et demokrati, og bør fortsatt være det. Men ansvarliggjøring er et vidt og vagt begrep, og det er viktig å diskutere mer åpent hvilke problemer det skaper når dette nå defineres stadig smalere i norsk bistand. Én effekt er at det går på bekostning av læring. Dette fordi bistandsforvaltningens egen kunnskapsproduksjon – måten man innhenter, organiserer og formidler kunnskap på – nå skjer på en måte som gir god informasjon om forvaltningens ansvarlighet, men som er mindre nyttig for læring. Selv om enkeltpersoner åpenbart kan oppleve å ha lært viktige ting av en evaluering, består fortsatt de større, strukturelle læringsutfordringene.

Hva er løsningen? Et først skritt for å løse bistandens læringsproblem er å anerkjenne at evalueringens doble formål har en innebygd motsetning som i praksis fører til at det ene går på bekostning av det andre. De som ønsker å fremme læring må anerkjenne at forventningene om formell ansvarliggjøring i praksis må nedjusteres. Og de som ønsker mer formell  ansvarliggjøring må anerkjenne at dette går på bekostning av intern læring og åpenhet.

Vi foreslår å starte diskusjonen med å tenke høyt om følgende fire spørsmål: Trengs det alltid en evalueringsrapport, og hvordan skal den i såfall se ut? Er eksterne konsulenter alltid nødvendig, og hva bør isåfall være deres rolle? Kanskje de involverte selv bør formulere anbefalinger om hva som skal gjøres videre? Og til slutt: Bør bistandsforvaltningen  underlegges stadig strammere ansvarliggjøring, selv når dette går på bekostning av læring?

 

Svar

Bli med i debatten!

Skriv gjerne ditt synspunkt! Du må være registrert med fullt navn, og innlogget for å delta. Sett deg inn i retningslinjene. Brudd på dem kan føre til utestengning.
Vennlig hilsen Alf Gjøsund, religions- og debattredaktør Vårt Land

Skriv kommentar

Lesetips

Les flere

Siste innlegg

Les flere

Siste kommentarer

Kjell G. Kristensen kommenterte på
Om å gjøre Gud mindre
rundt 5 timer siden / 547 visninger
Robin Tande kommenterte på
Bibelens fredsbudskap
rundt 6 timer siden / 589 visninger
Kjell Bjarne Sandvik kommenterte på
Om å gjøre Gud mindre
rundt 6 timer siden / 547 visninger
Njål Kristiansen kommenterte på
Nakne keisere, hele gjengen
rundt 7 timer siden / 389 visninger
Daniel Krussand kommenterte på
Når lederen ikke er tydelig.
rundt 7 timer siden / 206 visninger
Kjell Bjarne Sandvik kommenterte på
Om å gjøre Gud mindre
rundt 7 timer siden / 547 visninger
Njål Kristiansen kommenterte på
Forbud er feil vei
rundt 8 timer siden / 185 visninger
Les flere