Hilde Reinertsen, Kristian Bjørkdahl, Desmond McNeill

1

Bistandens læringsproblem

I flere tiår har norske og internasjonale bistandsaktører diskutert hvordan evaluering kan føre til læring. Hvorfor er det da så vanskelig å få til?

Publisert: 8. jun 2017

Av Hilde Reinertsen (TIK, UiO), Kristian Bjørkdahl (SUM, UiO) og Desmond McNeill (SUM, UiO)

Nylig lanserte Norads Evalueringsavdeling sin årsrapport for 2016. Som i fjor fokuserte rapporten på hva vi kan lære av evalueringene som er gjort det siste året: Hva forteller de oss om norsk bistandsforvaltning, og hvilke konsekvenser bør dette ha for utviklingspolitikken?

Evalueringsparadokset. Både i norsk og internasjonal bistand er læring et hovedmål for evalueringsarbeidet. Samtidig har en rekke rapporter fra inn- og utland påpekt mangelen på læring, og forsøkt å finne svar på hva som bør gjøres for å få det til. Problemet er neppe for lite evaluering og rapportering. Tvert imot har både forskere og bistandsarbeidere påpekt at denne sektoren preges av en storstilt dokumentproduksjon.

Desmond McNeill, Hilde Reinertsen og Kristian Bjørkdahl.

Som forskere var vi fascinert av dette paradokset: Den vedvarende opplevelsen av manglende læring samtidig som informasjonstilgangen har økt dramatisk. Norad er bare en av mange bistandsaktører som bestiller evalueringer. Internasjonalt er tilfanget av rapporter stort, og det øker år for år. Samtidig har Norads Evalueringsavdeling flere ganger påpekt at innsikter fra evalueringer de har bestilt ikke tas hensyn til i norsk utviklings- og utenrikspolitikk. Mer kunnskap leder ikke automatisk til læring og handling. Hva kan forklare dette?

Motstridende mål. I en studie finansiert av Expertgruppen för Bistandsanalys (EBA) i Sverige, som nylig ble offentliggjort, har vi undersøkt hvordan målet om læring kan stå i motsetning til et annet viktig formål med evaluering: å holde forvaltningen ansvarlig for hvordan bistandsmidler brukes. Dette kalles gjerne «ansvarliggjøring» på norsk (på engelsk: «accountability»). Læring og ansvarliggjøring blir ofte omtalt som bistandsevalueringens «doble formål».

I vår studie så vi disse to formålene i sammenheng, og utforsket hvordan de påvirker hverandre innenfor svensk og norsk bistandsevaluering. I analysen støtte vi stadig på spenninger og motsetninger mellom læring og ansvarliggjøring som i praksis førte til en rekke vanskelige avveininger og kompromisser. Allerede helt i startfasen av en evaluering må man ta praktiske valg som vil føre til at det ene formålet får større vekt enn det andre. De to formålene krever ulike spørsmål og metoder. I praksis fører de til vidt forskjellige evalueringsprosesser, som igjen får konsekvenser for hvordan evalueringsrapportene blir.

Utfordrende læring. Utvalget av evalueringsrapporter vi analyserte, bidro i hovedsak til å innfri målet om ansvarliggjøring: De fastslo hva som hadde skjedd, sammenlignet faktiske og planlagte resultater, og ga ris og ros til de involverte aktørene. Langt mer krevende er det å formulere nyttige anbefalinger: Vi fant at anbefalingene sjelden var godt fundert og at generelle lærdommer rapporten pekte på hadde begrenset relevans – om de i det hele tatt var formulert. Derfor er det vanskelig å se hvordan rapportene i seg selv skulle kunne bidra til læring for andre enn de aktørene som var direkte involvert i programmet som var evaluert.

Selve evalueringsprosessen er trolig en bedre kilde til læring enn de ferdige rapportene. De som jobber med å bestille og lede evalueringer jobber aktivt for å tilrettelegge for intern læring og bruk av rapportene. Men dette arbeidet kan også stå i motsetning til kravene om uavhengighet og distanse i evalueringsprosessen, som jo er viktige prinsipper for å sikre ansvarlighet og ekstern tillit til bistanden.

Hemmende ansvarskrav. Evaluering skjer aldri i et vakuum, men inngår alltid i en større politisk og organisatorisk sammenheng. Mens evalueringsansatte forsøker å bidra til læring, finnes det andre mekanismer og forventninger innenfor og utenfor bistanden som motvirker læring til fordel for ansvarliggjøring. Dette gjelder særlig måten de formaliserte systemene for oppfølging av evalueringer fungerer på, at evalueringsarbeidet får begrenset med ressurser, og at det bredere systemet for resultatbasert forvaltning (som evaluering også inngår i) skaper insentiver som reduserer viljen til å ta risiko og innrømme feil, noe som igjen motvirker åpne læringsprosesser.

Å holde forvaltningen ansvarlig er åpenbart et grunnleggende prinsipp i et demokrati, og bør fortsatt være det. Men ansvarliggjøring er et vidt og vagt begrep, og det er viktig å diskutere mer åpent hvilke problemer det skaper når dette nå defineres stadig smalere i norsk bistand. Én effekt er at det går på bekostning av læring. Dette fordi bistandsforvaltningens egen kunnskapsproduksjon – måten man innhenter, organiserer og formidler kunnskap på – nå skjer på en måte som gir god informasjon om forvaltningens ansvarlighet, men som er mindre nyttig for læring. Selv om enkeltpersoner åpenbart kan oppleve å ha lært viktige ting av en evaluering, består fortsatt de større, strukturelle læringsutfordringene.

Hva er løsningen? Et først skritt for å løse bistandens læringsproblem er å anerkjenne at evalueringens doble formål har en innebygd motsetning som i praksis fører til at det ene går på bekostning av det andre. De som ønsker å fremme læring må anerkjenne at forventningene om formell ansvarliggjøring i praksis må nedjusteres. Og de som ønsker mer formell  ansvarliggjøring må anerkjenne at dette går på bekostning av intern læring og åpenhet.

Vi foreslår å starte diskusjonen med å tenke høyt om følgende fire spørsmål: Trengs det alltid en evalueringsrapport, og hvordan skal den i såfall se ut? Er eksterne konsulenter alltid nødvendig, og hva bør isåfall være deres rolle? Kanskje de involverte selv bør formulere anbefalinger om hva som skal gjøres videre? Og til slutt: Bør bistandsforvaltningen  underlegges stadig strammere ansvarliggjøring, selv når dette går på bekostning av læring?

 

Bli med i debatten!

Du kan svare på innlegget ved å skrive et selvstendig debattinnlegg. Vårt Lands debattredaksjon vurderer alle innsendte tekster opp mot Verdidebatts retningslinjer.
Vennlig hilsen Alf Gjøsund, religions- og debattredaktør Vårt Land

Skriv innlegg

Mest leste siste måned

Bryllup med bismak
av
Trond Langen
rundt 1 måned siden / 2217 visninger
Kjønnsideologi på avveie
av
Marit Johanne Bruset
16 dager siden / 1956 visninger
Den verkeleg raude fare
av
Emil André Erstad
23 dager siden / 1923 visninger
Spooky sjamanisme?
av
Vårt Land
28 dager siden / 1779 visninger
Kunnskapsløst om «koranskoler»
av
Usman Rana
16 dager siden / 1551 visninger
Slutt å gjøre kirken kul!
av
Merete Thomassen
rundt 1 måned siden / 1519 visninger
En fallende stjerne?
av
Vårt Land
16 dager siden / 1240 visninger
Kallmyrs tabbe
av
Vårt Land
19 dager siden / 1170 visninger
Forledet av Frp
av
Vårt Land
23 dager siden / 1102 visninger
Gal vurdering av Arendalsuka
av
Guri Hjeltnes
21 dager siden / 1056 visninger

Lesetips

Les flere

Siste innlegg

Les flere