Hilde Reinertsen, Kristian Bjørkdahl, Desmond McNeill

1    0

Bistandens læringsproblem

I flere tiår har norske og internasjonale bistandsaktører diskutert hvordan evaluering kan føre til læring. Hvorfor er det da så vanskelig å få til?

Publisert: 8. jun 2017 / 515 visninger.

Av Hilde Reinertsen (TIK, UiO), Kristian Bjørkdahl (SUM, UiO) og Desmond McNeill (SUM, UiO)

Nylig lanserte Norads Evalueringsavdeling sin årsrapport for 2016. Som i fjor fokuserte rapporten på hva vi kan lære av evalueringene som er gjort det siste året: Hva forteller de oss om norsk bistandsforvaltning, og hvilke konsekvenser bør dette ha for utviklingspolitikken?

Evalueringsparadokset. Både i norsk og internasjonal bistand er læring et hovedmål for evalueringsarbeidet. Samtidig har en rekke rapporter fra inn- og utland påpekt mangelen på læring, og forsøkt å finne svar på hva som bør gjøres for å få det til. Problemet er neppe for lite evaluering og rapportering. Tvert imot har både forskere og bistandsarbeidere påpekt at denne sektoren preges av en storstilt dokumentproduksjon.

Desmond McNeill, Hilde Reinertsen og Kristian Bjørkdahl.

Som forskere var vi fascinert av dette paradokset: Den vedvarende opplevelsen av manglende læring samtidig som informasjonstilgangen har økt dramatisk. Norad er bare en av mange bistandsaktører som bestiller evalueringer. Internasjonalt er tilfanget av rapporter stort, og det øker år for år. Samtidig har Norads Evalueringsavdeling flere ganger påpekt at innsikter fra evalueringer de har bestilt ikke tas hensyn til i norsk utviklings- og utenrikspolitikk. Mer kunnskap leder ikke automatisk til læring og handling. Hva kan forklare dette?

Motstridende mål. I en studie finansiert av Expertgruppen för Bistandsanalys (EBA) i Sverige, som nylig ble offentliggjort, har vi undersøkt hvordan målet om læring kan stå i motsetning til et annet viktig formål med evaluering: å holde forvaltningen ansvarlig for hvordan bistandsmidler brukes. Dette kalles gjerne «ansvarliggjøring» på norsk (på engelsk: «accountability»). Læring og ansvarliggjøring blir ofte omtalt som bistandsevalueringens «doble formål».

I vår studie så vi disse to formålene i sammenheng, og utforsket hvordan de påvirker hverandre innenfor svensk og norsk bistandsevaluering. I analysen støtte vi stadig på spenninger og motsetninger mellom læring og ansvarliggjøring som i praksis førte til en rekke vanskelige avveininger og kompromisser. Allerede helt i startfasen av en evaluering må man ta praktiske valg som vil føre til at det ene formålet får større vekt enn det andre. De to formålene krever ulike spørsmål og metoder. I praksis fører de til vidt forskjellige evalueringsprosesser, som igjen får konsekvenser for hvordan evalueringsrapportene blir.

Utfordrende læring. Utvalget av evalueringsrapporter vi analyserte, bidro i hovedsak til å innfri målet om ansvarliggjøring: De fastslo hva som hadde skjedd, sammenlignet faktiske og planlagte resultater, og ga ris og ros til de involverte aktørene. Langt mer krevende er det å formulere nyttige anbefalinger: Vi fant at anbefalingene sjelden var godt fundert og at generelle lærdommer rapporten pekte på hadde begrenset relevans – om de i det hele tatt var formulert. Derfor er det vanskelig å se hvordan rapportene i seg selv skulle kunne bidra til læring for andre enn de aktørene som var direkte involvert i programmet som var evaluert.

Selve evalueringsprosessen er trolig en bedre kilde til læring enn de ferdige rapportene. De som jobber med å bestille og lede evalueringer jobber aktivt for å tilrettelegge for intern læring og bruk av rapportene. Men dette arbeidet kan også stå i motsetning til kravene om uavhengighet og distanse i evalueringsprosessen, som jo er viktige prinsipper for å sikre ansvarlighet og ekstern tillit til bistanden.

Hemmende ansvarskrav. Evaluering skjer aldri i et vakuum, men inngår alltid i en større politisk og organisatorisk sammenheng. Mens evalueringsansatte forsøker å bidra til læring, finnes det andre mekanismer og forventninger innenfor og utenfor bistanden som motvirker læring til fordel for ansvarliggjøring. Dette gjelder særlig måten de formaliserte systemene for oppfølging av evalueringer fungerer på, at evalueringsarbeidet får begrenset med ressurser, og at det bredere systemet for resultatbasert forvaltning (som evaluering også inngår i) skaper insentiver som reduserer viljen til å ta risiko og innrømme feil, noe som igjen motvirker åpne læringsprosesser.

Å holde forvaltningen ansvarlig er åpenbart et grunnleggende prinsipp i et demokrati, og bør fortsatt være det. Men ansvarliggjøring er et vidt og vagt begrep, og det er viktig å diskutere mer åpent hvilke problemer det skaper når dette nå defineres stadig smalere i norsk bistand. Én effekt er at det går på bekostning av læring. Dette fordi bistandsforvaltningens egen kunnskapsproduksjon – måten man innhenter, organiserer og formidler kunnskap på – nå skjer på en måte som gir god informasjon om forvaltningens ansvarlighet, men som er mindre nyttig for læring. Selv om enkeltpersoner åpenbart kan oppleve å ha lært viktige ting av en evaluering, består fortsatt de større, strukturelle læringsutfordringene.

Hva er løsningen? Et først skritt for å løse bistandens læringsproblem er å anerkjenne at evalueringens doble formål har en innebygd motsetning som i praksis fører til at det ene går på bekostning av det andre. De som ønsker å fremme læring må anerkjenne at forventningene om formell ansvarliggjøring i praksis må nedjusteres. Og de som ønsker mer formell  ansvarliggjøring må anerkjenne at dette går på bekostning av intern læring og åpenhet.

Vi foreslår å starte diskusjonen med å tenke høyt om følgende fire spørsmål: Trengs det alltid en evalueringsrapport, og hvordan skal den i såfall se ut? Er eksterne konsulenter alltid nødvendig, og hva bør isåfall være deres rolle? Kanskje de involverte selv bør formulere anbefalinger om hva som skal gjøres videre? Og til slutt: Bør bistandsforvaltningen  underlegges stadig strammere ansvarliggjøring, selv når dette går på bekostning av læring?

 

Svar

Bli med i debatten!

Skriv gjerne ditt synspunkt! Du må være registrert med fullt navn, og innlogget for å delta. Sett deg inn i retningslinjene. Brudd på dem kan føre til utestengning.
Vennlig hilsen Alf Gjøsund, religions- og debattredaktør Vårt Land

Skriv kommentar

Siste innlegg

Johan Veltens kritikk
av
Bernt Aksel Larsen
9 minutter siden / 22 visninger
0 kommentarer
Frivillig fornyelse
av
Vårt Land
21 minutter siden / 20 visninger
1 kommentarer
Augo sviv som snarast
av
Håvard Nyhus
rundt 15 timer siden / 261 visninger
0 kommentarer
Tese III: Nåden er alltid større
av
Joel Halldorf
rundt 20 timer siden / 151 visninger
1 kommentarer
Gud gav dem over
av
Kjetil Mæhle
rundt 21 timer siden / 264 visninger
4 kommentarer
Les flere

Lesetips

Les flere

Siste innlegg

Johan Veltens kritikk
av
Bernt Aksel Larsen
9 minutter siden / 22 visninger
0 kommentarer
Frivillig fornyelse
av
Vårt Land
21 minutter siden / 20 visninger
1 kommentarer
Augo sviv som snarast
av
Håvard Nyhus
rundt 15 timer siden / 261 visninger
0 kommentarer
Tese III: Nåden er alltid større
av
Joel Halldorf
rundt 20 timer siden / 151 visninger
1 kommentarer
Gud gav dem over
av
Kjetil Mæhle
rundt 21 timer siden / 264 visninger
4 kommentarer
Les flere

Siste kommentarer

Isak BK Aasvestad kommenterte på
Frivillig fornyelse
10 minutter siden / 20 visninger
Cecilie Bedsvaag kommenterte på
Medias framstilling av mennesker
13 minutter siden / 600 visninger
Njål Kristiansen kommenterte på
Når vil vi alle forstå Islam?
14 minutter siden / 4269 visninger
Oddvar Hægeland kommenterte på
Livssynsnøytral ­er ikke verdinøytral
16 minutter siden / 2185 visninger
Unn Elisabeth Aarø kommenterte på
Gud gav dem over
26 minutter siden / 264 visninger
Geir Wigdel kommenterte på
Når vil vi alle forstå Islam?
26 minutter siden / 4269 visninger
John-Olav Hoddevik kommenterte på
Revival - fra Gud?
27 minutter siden / 1973 visninger
Njål Kristiansen kommenterte på
Når vil vi alle forstå Islam?
43 minutter siden / 4269 visninger
Njål Kristiansen kommenterte på
Hva uenigheten handler om
rundt 1 time siden / 1608 visninger
Isak BK Aasvestad kommenterte på
Feil løsning på feil spørsmål
rundt 1 time siden / 193 visninger
Njål Kristiansen kommenterte på
Om en verbal duell, trusler, krav og knefall for islam  
rundt 1 time siden / 387 visninger
Tove S. J Magnussen kommenterte på
Overgrep frem i lyset
rundt 1 time siden / 174 visninger
Les flere