Nieuwsbank

Schrijft, screent en verspreidt persberichten voor journalistiek, search en social media. Hét startpunt om uw nieuws wereldkundig te maken. Ook voor follow-ups, pitches en korte videoproducties.

Jaarverslag Inspectie Ontwikkelingssamenwerking

Datum nieuwsfeit: 15-05-2001
Bron: Ministerie van Buitenlandse Zaken
Zoek soortgelijke berichten
Ministerie van Buitenlandse Zaken

www.minbuza.nl/content.asp?Key=415692



De Voorzitter van de Vaste Commissie van Buitenlandse Zaken van de Tweede Kamer der Staten Generaal Binnenhof 4 DEN HAAG Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie Bezuidenhoutseweg 67 2594 AC Den Haag Nederland

Datum 15 mei 2001 Auteur Drs. R.D. van den Berg

Kenmerk IOB-291/01 Telefoon 070 - 348 5890

Blad /1 Fax 070 - 3486336

Bijlage(n) 1 E-mail rd-(vanden.berg@minbuza.nl)

Betreft Jaarverslag 2000 Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB)

C.c.

Zeer geachte Voorzitter,

In onze brief IOB-611/00 van 28 september 2000 kondigden wij aan dat in 2001 een jaarverslag van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) zou worden gepubliceerd. Het is ons een genoegen u hierbij dit jaarverslag aan te bieden. Het verschijnen van het jaarverslag past in het streven meer openheid te betrachten en meer verantwoording af te leggen inzake de activiteiten van de Inspectie.

In dat streven past ook een inzet van de nieuwe media. De rapporten van de Inspectie zijn sinds kort ook te raadplegen op internet. Daartoe is IOB een samenwerking aangegaan met het discussieforum EUFORIC, dat gericht is op het bevorderen van de Europese dialoog over internationale samenwerking. De rapporten van IOB zijn opgenomen in de internetbibliotheek van Euforic, maar ook separaat opvraagbaar via het internetadres
www.euforic.org/iob
.

De Minister van Buitenlandse Zaken De Minister voor Ontwikkelingssamenwerking

J.J. van Aartsen Eveline Herfkens

Jaarverslag 2000

Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie

(IOB)

Voorwoord

Het was en is mijn overtuiging dat mensen en landen niet ontwikkeld kunnen worden van buitenaf - alleen zijzelf zijn daartoe in staat van binnenuit. De evaluaties van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) hebben mij reeds lang in die overtuiging gesterkt. Ook andere evaluatiediensten hebben keer op keer gewezen op het feit dat hulp op termijn niet succesvol is als die hulp niet is ingebed in het beleid en de cultuur van het land in kwestie. Het is dan ook niet voor niets dat sinds enige jaren het begrip "ownership" zo'n belangrijke rol is gaan spelen in de discussie over de effectiviteit van de hulp. "Ownership" kan de effectiviteit van de hulp verbeteren, mits dit begrip serieus genomen wordt.

De rol van inspectiediensten in de samenleving heeft recent extra aandacht gekregen als gevolg van de rampen in Enschede en Volendam. Het is van groot belang dat onafhankelijke en objectieve diensten toegankelijk onderzoek verrichten naar hoe beleidsvoornemens in de praktijk uitwerken. Soms komt daarbij aan het licht dat goede voornemens minder goed uitpakken, en dat kan onaangenaam overkomen. Het voorbeeld inzake "ownership" dat ik hierboven gaf, kan leiden tot het gevoel dat al die hulp toch niet helpt. Juist bij ontwikkelingssamenwerking kan dat niet. In 1986 wees ik er al op, dat het bestaan van ziekten waarvoor nog geen behandeling is ontdekt, geen excuus is om de patiënt maar aan zijn lot over te laten. Wij kunnen het ons veroorloven ons van de ontwikkelingsproblematiek af te wenden. De burgers in het Zuiden hebben die mogelijkheid niet. Zij worden elke dag geconfronteerd met de mislukkingen van het ontwikkelingsproces en moeten de gevolgen daarvan ondergaan. De evaluaties van IOB dienen dan ook om onze ondersteuning van autochtone processen te verbeteren, niet om tot stopzetting van die hulp te leiden. Tegelijkertijd vraagt het leerproces om zo duidelijk mogelijke conclusies en bevindingen, zonder er doekjes om te winden.

Voor een inspectie is doorzichtigheid, objectiviteit en openheid van het grootste belang. Waarop zijn de oordelen gebaseerd, en hoe hoog is de meetlat gelegd? Ik juich toe dat IOB in toenemende mate de openheid zoekt. Dit jaarverslag is daarvan een uiting. IOB is voornemens in 2001 nog meer stappen in deze richting te zetten, door het opzetten van een evaluatiedatabase op internet en door het laten verschijnen van informatiebulletins.

Sinds 1996 evalueert IOB ook op andere buitenlandse beleidsterreinen dan ontwikkelingssamenwerking. In voorgaande jaren verschenen daarvan de eerste voorbeelden, zoals de evaluatie van het Matra-programma in Oost-Europa. In 2000 zijn evaluaties aangevangen inzake het internationaal cultuurbeleid en de Europese integratie. Ik spreek de hoop en verwachting uit dat op andere beleidsterreinen van buitenlandse zaken de wil om te leren van de ervaringen uit het verleden even groot zal zijn als bij de directies en ambassades die bij de ontwikkelingssamenwerking zijn betrokken.

Z.K.H. Prins Claus der Nederlanden

Inspecteur-Generaal voor Ontwikkelingssamenwerking

INHOUDSOPGAVE


1 Hoofdpunten
3


2 Evaluatie bij buitenlandse zaken
5


3 Publicaties in 2000
8

3.1 Publicatievormen
8

3.2 IOB-evaluatiereeks
8

3.3 Gezamenlijke evaluaties
12

3.4 Publicaties van de OESO
14

3.5 Werkdocumenten
15


4 Onderzoek in uitvoering
18

4.1 Evaluaties
18

4.2 Internationale activiteiten
24

4.3 Advisering en overige activiteiten
27


5 Financiën
29


6 Mandaat, werkwijze en kengetallen IOB
31

6.1 Mandaat en werkwijze
31

6.2 Kengetallen
32

Hoofdpunten

In maart 2000 bracht IOB een rapport uit over de Nederlandse steun aan institutionele ontwikkeling in de watersector over de afgelopen tien jaar. De belangrijkste conclusie is dat de voornemens om meer aandacht te geven aan institutionele ontwikkeling al van tien jaar geleden stammen, maar dat pas in de laatste jaren daadwerkelijk invulling aan die voornemens is gegeven. Het is dan ook niet verwonderlijk dat nog weinig resultaten zijn te melden van de inspanningen op institutioneel gebied. De hulp in deze sector, die in totaal circa 2 miljard gulden bedroeg, is vooral technisch van aard geweest en heeft tijdelijke successen gebracht in drinkwatervoorziening voor grote groepen voornamelijk arme mensen. Ook tien jaar geleden was al bekend dat die successen tijdelijk zouden zijn. De grote problemen van onderhoud en betaalbare dienstverlening zijn alleen op te lossen als ook de institutionele ontwikkeling in de sector goed wordt aangepakt. In hoofdstuk 3 wordt het rapport verder toegelicht.

In september 2000 verscheen het rapport van IOB over de samenwerking tussen Nederland en Mali in de periode 1994-1998. In 1994 publiceerde IOV (de voorganger van IOB) een evaluatierapport over het samenwerkingsprogramma met Mali, als gevolg waarvan wijzigingen in het beleid werden afgekondigd. Die wijzigingen hadden onder meer betrekking op meer "ownership" aan Malinese kant, meer programma- dan projecthulp, in minder sectoren en regio's. Ondanks stappen die kant op constateert IOB nu dat op hoofdlijnen de beleidswijzigingen uit 1994 niet zijn uitgevoerd. De projecthulp is nog steeds aanzienlijk, en wordt in meer sectoren en regio's gegeven dan in 1994. Over de invulling van "ownership" aan Malinese kant is nog onvoldoende nagedacht, en geen rekening is gehouden met de verschillende niveaus waarop wordt samengewerkt. Over de mate waarin de wijzigingen in de hulp ook hebben geleid tot grotere effectiviteit kon IOB geen uitspraak doen. Het onderzoek zou zich op dit punt baseren op het monitoringssysteem van de ambassade, dat echter geen betrouwbaar beeld geeft over de resultaten van de hulp voor onder meer de armste bevolkingsgroepen. In hoofdstuk 3 wordt het rapport verder toegelicht.

De Inspectie is in het jaar 2000 in toenemende mate geconfronteerd met vertragingen bij de voorbereiding van evaluaties, die te maken hebben met het gegevensbeheer bij Ontwikkelingssamenwerking en de dossiervorming bij het ministerie van Buitenlandse Zaken. Hoewel het gegevensbeheer en de dossiervorming op zich voldoen aan de vereisten die bijvoorbeeld voor een goed financieel beheer noodzakelijk zijn, zijn voor beleidsevaluaties meer gegevens nodig. Het is dan bijvoorbeeld wenselijk om een betrouwbaar inzicht te verkrijgen in alle activiteiten die in een bepaalde sector zijn gefinancierd, of bijvoorbeeld activiteiten op modaliteiten te selecteren. De delegatie van bevoegdheden naar de posten in 1997 is gepaard gegaan met delegatie van dossiervorming en gegevensbeheer, waarbij in het laatste geval geen centrale controle op de invoer meer bestaat. IOB constateert dat daardoor interpretatieverschillen optreden die de betrouwbaarheid van de gegevens aantasten.

De rapporten en informatiebulletins van IOB zijn te verkrijgen via:

DVL/VM

Postbus 20063 EB Den Haag

IOB is te bereiken per e-mail: (iob@minbuza.nl)

De rapporten van IOB zijn sinds kort op internet te raadplegen in de database van de Euforic website, te vinden via:

www.euforic.org/iob

Evaluatie bij buitenlandse zaken

Beleidsevaluatie bij het Ministerie van Buitenlandse Zaken is ingebed in een reeks van instrumenten die toezicht houden op de uitvoering. De interne accountantsdienst (ACD) van het ministerie draagt zorg voor de jaarlijkse accountantsverklaring. De begrotingsinspectie van de Directie Financieel-Economische Zaken (FEZ) ziet toe op de toewijzing en aanwending van begrotingsmiddelen. De Inspectie Evaluatie en Bedrijfsdoorlichting (ISB) bekijkt de organisatorische effectiviteit, met name van de posten in het buitenland en ondersteunt daarnaast de zelfdoorlichting op het departement. Voorts wordt in het streven naar een resultaatgerichte begroting door de beleidsdirecties en posten in toenemende mate gewerkt met kengetallen, indicatoren, waarderingssystemen en andere vormen van resultaatmeting (ook samen te vatten als "monitoring" van de uitvoering). Naast deze instrumenten voor toezicht en inzicht, dient het instrument van beleidsevaluatie vooral om de doeltreffendheid en doelmatigheid van het beleid systematisch te onderzoeken.

De rijksoverheid kent in ieder geval twee belangrijke vormen van beleidsevaluatie: de zogeheten ex-ante evaluatie en de ex-post evaluatie. Ex-ante evaluatie betreft het beoordelen van voorgenomen beleid op mogelijke resultaten, bijvoorbeeld door extrapolaties van bestaande trends, of door het ontwikkelen van scenario's. Bij Buitenlandse Zaken komt dit soort evaluatie vooral voor bij ontwikkelingssamenwerking, als bijvoorbeeld een "kosten/baten"-analyse wordt uitgevoerd voor een te financieren programma. Ex-ante evaluaties kunnen worden ondernomen door de betrokken beleidsdirecties of posten. Daarnaast is de Stafafdeling Strategische Beleidsontwikkeling (BSG/PL) de aangewezen instantie om ex-ante evaluaties te ondernemen.

Met ex-post evaluatie wordt gedoeld op beoordelingen van beleid achteraf, op basis van de resultaten die tot op het tijdstip van evaluatie zijn bereikt. In de comptabiliteitswet is de verplichting vastgelegd voor alle bewindspersonen om de onder hen ressorterende beleidsterreinen minimaal één keer per vijf jaar ex-post te evalueren. De Directies Financieel-Economische Zaken hebben in de comptabiliteitswet een coördinerende functie toegekend gekregen. Zij zijn verantwoordelijk voor de samenstelling van een ministeriebreed evaluatieprogramma, dat in de afgelopen jaren als bijlage aan de Memorie van Toelichting werd toegevoegd. Per ministerie verschilt de invulling van deze evaluatieverplichting. Bij Buitenlandse Zaken zijn de beleidsdirecties in principe verantwoordelijk voor het tijdig (doen) evalueren van de beleidsterreinen waarvoor zij verantwoordelijkheid dragen. Daarnaast heeft de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) een eigenstandige rol. IOB is belast met het voldoen aan de behoefte naar onafhankelijke ex-post beleidsevaluatie op de beleidsterreinen van de Homogene Groep Internationale Samenwerking (HGIS). De door IOB ondernomen evaluaties worden ook wel gekenschetst als "centrale" evaluaties, tegenover de "decentrale" evaluaties door de respectievelijke beleidsdirecties.

Het belangrijkste verschil tussen de door IOB en de door de beleidsdirecties uitgevoerde evaluaties ligt in het onafhankelijke mandaat voor IOB. Evaluaties door IOB geschieden geheel onder verantwoordelijkheid van IOB. De decentrale evaluaties geschieden uiteindelijk onder verantwoordelijkheid van de desbetreffende bewindspersoon. In de uitvoering van zo'n evaluatie wordt overigens vaak voor een uitvoering door externe onderzoekers gekozen. Zo'n evaluatie verdient de voorkeur boven een uitvoering waarbij de evaluatie door beleidsambtenaren zelf wordt uitgevoerd.

In de afgelopen jaren is niet tot een heldere en eenduidige taakverdeling tussen IOB en de beleidsdirecties gekomen. IOB heeft in 2000 een aanzet tot verdere discussie daarover verricht door het zogeheten "reikwijdte"-onderzoek, waarin wordt nagegaan hoe de onderzoekingen van IOB bijdragen aan de verplichting elk beleidsterrein minimaal één keer per vijf jaar ex-post te evalueren. In 2001 zal in kaart worden gebracht hoe de "decentrale" beleidsevaluaties aan die verplichting bijdragen. Op basis daarvan kan de taakverdeling opnieuw worden besproken.

Daarnaast speelden in 2000 nog enige andere ontwikkelingen een rol. In de Nederlandse ontwikkelingssamenwerking worden door de beperking van het aantal landen waaraan structurele steun wordt gegeven, alsmede door de nadruk op de sectorbenadering, geleidelijk aan nieuwe eisen gesteld aan de opzet en uitvoering van evaluatie-onderzoek. Als de Nederlandse gulden niet meer goed te traceren valt, of gezamenlijk met andere donoren wordt besteed, ligt het voor de hand om in de toekomst meer te kiezen voor gezamenlijke evaluaties met andere donoren. In het verlengde van de zware nadruk op "ownership" ligt een vergelijkbare verschuiving van het perspectief van evaluaties naar dat van de ontvanger voor de hand. Uiteindelijk kan dit impliceren dat evaluaties worden "geleid door de ontvanger" ( recipient-led evaluation)
. Dat laatste is vanwege het ontbreken van een evaluatietraditie en gebrekkige capaciteit op dit moment waarschijnlijk slechts in een enkel land mogelijk. In de komende veranderingen ligt voor IOB een grote uitdaging voor herpositionering.

Relatief nieuwe onderwerpen zoals conflictpreventie, versterking van de civil society,
de samenhang van de verschillende terreinen van internationale samenwerking, vragen om een oriëntatie op andere evaluatietechnieken en wijze van werken. Ook buitenlands beleid waarmee alleen apparaatskosten zijn gemoeid, zoals de traditionele bilaterale belangenbehartiging, vergt een nieuwe evaluatie-aanpak.

Wereldwijd is in de publieke sector een trend naar resultaatgericht management
(results-based management)
te zien. In Nederland leidt dit tot een resultaatgerichte begroting, die voor de gehele rijksoverheid in de komende jaren zal worden ingevoerd. De nadruk op meetbare resultaten beoogt de verantwoording van wat met het geld wordt bereikt, aanzienlijk te vergemakkelijken, en zal tot een herpositionering van evaluatie leiden.

Binnen Buitenlandse Zaken hebben de ontschotting, herijking en delegatie van bevoegdheden naar de posten al geleid tot een andere werkomgeving voor IOB. In de loop van het jaar bleken vrijwel alle nieuwe evaluaties vertraging in de voorbereiding op te lopen, omdat het gegevensbeheer van het ministerie en de dossiervorming niet toereikend zijn om een betrouwbare basis voor een evaluatie te bieden. Het vooronderzoek, waarbij de ontbrekende gegevens worden ingezameld, bleek in veel gevallen tijdrovend, onder meer door de decentralisatie, waardoor de dossiers vaak alleen op de posten zijn te raadplegen. Een belangrijk probleem in 2000 was dat de consistentie van de gegevens in het MIDAS niet was gegarandeerd, omdat sinds de delegatie naar de posten een centrale controle op die gegevensconsistentie ontbrak. IOB overweegt in de komende programmering (2002-2004) het onderwerp "monitoring en evaluatie" op te nemen.

Publicaties in 2000

Publicatievormen

IOB kende in 1999 drie publicatievormen. Allereerst dient de reeks evaluatierapporten te worden genoemd. Het gaat daarbij om evaluaties die geheel onder verantwoordelijkheid van IOB zijn uitgevoerd. Daarnaast neemt IOB deel aan evaluaties die gezamenlijk met andere evaluatiediensten worden ondernomen. De publicatie van dergelijke evaluaties geschiedt over het algemeen door één van de betrokken diensten, over het algemeen de dienst die de leidende rol speelde in de evaluatie. Ten derde is IOB actief betrokken bij de Werkgroep Hulpevaluatie van de Commissie Ontwikkelingshulp van de OESO. De resulterende rapporten worden door de OESO gepubliceerd.

In 2000 voegde IOB "werkdocumenten" toe als vierde publicatievorm. Het gaat daarbij om rapporten die mede als basis voor IOB-evaluatierapporten hebben gediend, of anderszins van belang zijn voor een breder publiek. De rapporten worden uitgebracht onder verantwoordelijkheid van de auteur(s).

In het verslagjaar publiceerde IOB twee evaluatierapporten in de eigen reeks. Daarnaast verscheen één gezamenlijke evaluatie (waarbij IOB actief was betrokken) in de reeks van de Deense evaluatiedienst. Tevens verscheen één mede onder leiding van IOB samengesteld rapport in de reeks van de OESO. In de nieuwe reeks "werkdocumenten" verschenen zeven rapporten.

IOB-evaluatiereeks

Institutionele ontwikkeling : Nederlandse steun aan de watersector 1988-1998

De evaluatie "institutionele ontwikkeling in de watersector" kon begin 2000 nog voor de waterconferentie in Den Haag worden afgesloten. De bevindingen van de evaluatie vormden een belangrijk onderdeel van de openingsrede van minister Herfkens van de waterconferentie. Tevens werden drie werkdocumenten vervaardigd, die op het waterforum ter beschikking zijn gesteld. Ze zijn in grote getale afgenomen door de deelnemers aan de conferentie.

De evaluatie betrof de bilaterale hulp in de subsectoren irrigatie en drainage, drinkwater en sanitatie, waarmee ongeveer 45 % van alle hulp in de sector was gemoeid. Het volume aan geëvalueerde hulp was NLG 2 miljard (EUR 0,907 mld.) over de periode 1988-1998. Vier landen werden speciaal bestudeerd: India, Bangladesh, Egypte en Mozambique.

De belangrijkste bevindingen waren als volgt.

Voor institutionele ontwikkeling in de watersector werd begin jaren negentig de aandacht gevraagd in enige internationale conferenties. IOB constateert dat het circa vijf jaar duurde voordat deze nieuwe perspectieven werden vertaald in beleidsuitgangspunten in de vier landen en in het Nederlandse hulpbeleid in de watersector. Vervolgens duurde het weer vijf jaar voordat de nieuwe beleidsuitgangspunten in concrete activiteiten werden omgezet. Dat betekende niet dat er in de tussenliggende jaren geen aandacht voor institutionele ontwikkeling was. Die aandacht kreeg echter vorm door het toevoegen van institutionele doelstellingen aan bestaande (vooral technische en infrastructurele) projecten.

Veel van die projecten hadden een investeringskarakter. Dat wil zeggen dat zij hebben geleid tot belangrijke uitbreiding van technische faciliteiten en diensten, waarmee een substantieel aantal mensen werden bediend die vaak uit de zwakkere sociaal-economische groepen kwamen. In veel gevallen bleken de resultaten van deze projecten echter niet in stand te houden, vooral vanwege gebreken bij de uitvoering en het onderhoud.

De uitbreiding van deze projecten met institutionele componenten liep tegen problemen op. De uitvoeringsorganisaties waren technisch georiënteerd en hadden weinig ervaring met de sociaal-economische en milieutechnische aspecten van waterbeheer. De institutionele componenten bleken vooral betrekking te hebben op de ontwikkeling van menselijke hulpbronnen, waarbij opleidingen vaak bevredigende resultaten bereikten. Op organisatorisch gebied werd minder bereikt, en ondersteuning voor verbetering van het kader waarbinnen de instituten functioneerden was er nauwelijks.

Het resultaat van de Nederlandse steun aan institutionele ontwikkeling is tot dusver teleurstellend. Achteraf gezien waren de oorspronkelijke doelstellingen niet realistisch, in het licht van de structurele belemmeringen voor institutionele ontwikkeling. De efficiëntie van de Nederlandse steun aan de watersector is een zorgpunt.

IOB wijst op een viertal cruciale issues die in de komende jaren in institutionele ontwikkeling in de watersector aandacht behoeven. Allereerst is een
adequate analyse
van de problematiek noodzakelijk. Naast een analyse van de benodigde menselijke hulpbronnen, de vereisten voor de organisaties en de gewenste systeemontwikkeling, dient een analyse te worden gemaakt van de belangen van alle betrokkenen in de sector. Ten tweede dient te worden erkend dat institutionele verandering een
langzaam proces
is. De problemen kunnen slechts op de langere termijn worden overwonnen, en met die tijdsduur dient in het ontwerpen van nieuwe steunprogramma's rekening te worden gehouden. Als derde punt dienen heldere strategieën
te worden uitgewerkt die een langere termijn verplichting inhouden. Drie dimensies van institutionele ontwikkeling dienen te worden aangepakt: ontwikkeling van menselijke hulpbronnen; versterking van organisaties; en ontwikkeling op systeemniveau. Tot slot dienen
innovatieve benaderingen
te worden bevorderd. Sommige recent ingevoerde innovatieve benaderingen weten op een effectieve manier meer te bereiken dan alleen de versterking van de kennis en vaardigheden van personen en organisaties in de watersector, en zijn gericht op de verwezenlijking van beleid voor institutionele hervormingen en decentralisatie.

Naar aanleiding van deze studie heeft IOB een seminar in oktober 2000 georganiseerd over de evaluatieresultaten in de watersector van de evaluatiediensten van de Wereldbank, African Development Bank, Nederland en een wateraudit onder auspiciën van INTOSAI, de internationale organisatie van Rekenkamers. Dit seminar bleek in een behoefte te voorzien. Zowel de operationele afdelingen als ook de evaluatieafdelingen van de belangrijkste donoren in de watersector hebben het seminar bijzonder op prijs gesteld. Tijdens het seminar bleek dat de resultaten van de verschillende evaluaties sterk met elkaar overeen kwamen. De bevindingen werden daarmee nog eens extra onderstreept.

In 2000 heeft het parlement geen beleidsreactie op het waterrapport van de minister voor Ontwikkelingssamenwerking ontvangen.

Onderzoek naar de samenwerking tussen Mali en Nederland 1994-1998

In 2000 werd de evaluatie van de samenwerking tussen Nederland en Mali over de periode 1994-98 afgerond. Het eindrapport werd zowel in het Frans als in het Nederlands gepubliceerd. Het eindrapport werd vergezeld van de beleidsreactie van de minister naar de Tweede en Eerste Kamer gestuurd. Een bespreking van die beleidsreactie met de Vaste Kamercommissie voor Buitenlandse Zaken van de Tweede Kamer heeft nog niet plaatsgevonden.

De evaluatie had betrekking op de samenwerking tussen Nederland en Mali in de periode 1994-1998. De totale uitgaven bedroegen in die vijf jaar 260 miljoen gulden (118 miljoen euro). Eerder is de samenwerking geëvalueerd door IOV, de voorloper van IOB, over de periode 1975-1992. Die evaluatie vormde het startsein voor een herziening van het Nederlandse beleid ten aanzien van Mali. Belangrijk uitgangspunt was om Mali meer zeggenschap te geven in de organisatie en het beheer van de hulp, zodat de duurzaamheid van de resultaten vergroot zou worden. De huidige evaluatie heeft geleid tot vijf hoofdbevindingen, waarvan de eerste vier tevens de probleempunten zijn die in de toekomstige samenwerking met Mali aandacht behoeven.


1. De kloof tussen beleid en uitvoering is groot

Vanaf 1994 streeft Nederland naar de concentratie van de hulp in een beperkt aantal regio's en een beperkt aantal sectoren en een vermindering van het aantal projecten. Zowel sectoren, regio's als projecten zijn in aantal toegenomen. Daarnaast is de overgang van projecthulp naar een programmabenadering gekenmerkt door veel vertragingen en moeilijkheden om de hulp in te passen in het sectorale Malinese beleid. De beperking van het aantal sectoren (in dit geval: milieu, gezondheidszorg, onderwijs en regionale ontwikkeling) was trouwens meer een wens van Nederlandse dan van Malinese zijde. IOB stelt vast dat niet alleen de formulering van het nieuwe beleid een complexe zaak is, maar tevens dat de uitvoering van dat nieuwe beleid problematisch is en met veel vertraging gepaard gaat.


2. De beleidsdialoog tussen Nederland en Mali is gefragmenteerd en onvolkomen

Door de delegatie van bevoegdheden aan de ambassade kan de besluitvorming snel plaatsvinden, hetgeen de Malinese gesprekspartners op centraal niveau zeer gewaardeerd hebben. De delegatie resulteerde echter niet in een verdieping van de beleidsdialoog tussen Mali en Nederland. Over de toekenning van de macro-economische hulp wordt geen beleidsdialoog gevoerd. De beleidsdialoog heeft dus slechts betrekking op de helft van de hulp, namelijk de 50 % sectorale hulp. Daarbij is er geen sprake van een intersectorale dialoog, maar een directe dialoog op sectorniveau. Deze sectordialoog heeft meer het karakter van een uitvoeringsdialoog dan van een werkelijke beleidsdialoog. Daarom is naar het oordeel van IOB de beleidsdialoog beperkt en onvolkomen.


3. Het vergroten van de zeggenschap (ownership) van Mali en het verbeteren van de partnerrelaties is geen eenvoudige zaak, vooral door de verschillende soorten en niveaus van samenwerking.

In de uitvoering van de Nederlandse hulp is een toename van de verantwoordelijkheid en zeggenschap van de Malinese partnerorganisaties geconstateerd. Het aantal Nederlanders met uitvoerende taken is sterk verminderd en de formele verantwoordelijkheid voor het beheer van projecten en programma's berust in toenemende mate bij Malinese organisaties. Gezien de problemen bij de beleidsuitvoering zijn er in de praktijk toch vaak tussenvormen aangetroffen, waarbij het initiatief vaak nog aan Nederlandse zijde ligt. Het Nederlandse beleid maakt ten onrechte geen onderscheid tussen verschillende niveaus en partnerorganisaties. Aangezien tevens wordt gestreefd naar meer programmahulp op centraal niveau, dreigt een afname van het Malinese ownership op decentraal niveau.


4. De uitbreiding van de ambassade en de aandacht die is besteed aan de verbetering van het monitorsysteem hebben niet geleid tot een beter inzicht in de resultaten van beleid.

Eén van de speerpunten van het Nederlandse beleid was om de monitoring van het programma te verbeteren. De uitbreiding van de ambassade als gevolg van de herijking werd gezien als een positieve impuls. Echter, voor de 50 % macro-economische hulp is niet in een adequate monitoring voorzien. Voor de monitoring van de 50 % sectorale hulp zijn wel serieuze pogingen tot verbetering ondernomen, maar er is nog steeds geen goed zicht op de resultaten van projecten en programma's, vooral niet op het niveau van de doelgroep. Er is wel informatie beschikbaar over de uitvoering van concrete activiteiten, zoals de bouw van gezondheidscentra en scholen, maar er is geen beter zicht gekomen op de vermindering van de armoede, de gevolgen voor het milieu, institutionele veranderingen en de verandering van de positie van de vrouw. Bovendien blijft het monitoringsysteem voor de Nederlandse hulp vaak los staan van systemen die de Malinese partnerorganisaties en/of andere donoren gebruiken.


5. De formulering van beleidsaanbevelingen in een evaluatie, zoals IOV in 1994 heeft gedaan, is niet wenselijk als de analytische basis voor de conclusies onvoldoende onderbouwd is.

Hoewel de conclusies en aanbevelingen van IOV hebben bijgedragen aan een herziening van het beleid, waren zij niet concreet genoeg om meteen in operationeel beleid om te zetten. Bovendien waren zij niet gebaseerd op een gedetailleerde analyse van het Malinese ontwikkelingsbeleid en de institutionele capaciteit om dit beleid uit te voeren. De overeenstemming tussen het Malinese ontwikkelingsbeleid en het Nederlandse ontwikkelingssamenwerkingsbeleid was eveneens niet in detail bestudeerd. Terugblikkend op de eerdere evaluatie stelt IOB vast dat de aanbevelingen onvoldoende onderbouwd waren.

Gezamenlijke evaluaties

Ghana - Joint Evaluation of the Road Sub-Sector Programme 1996-2000

Eind 2000 is de multi-donor evaluatie van het Subsectorale Wegenprogramma in Ghana afgerond. De evaluatie had een innovatief karakter, aangezien voor het eerst de bij de subsector betrokken donoren en de Ghanese autoriteiten gezamenlijk de verantwoordelijkheid voor een dergelijke evaluatie op zich hebben genomen. Een review van het evaluatieproces heeft onder meer aangetoond, dat de evaluatie breed gedragen werd door de verschillende belanghebbende partijen. De resultaten en aanbevelingen zijn opgenomen in de nieuwe beleidsbrief van de Ghanese overheid voor de subsector, die eind november 2000 van kracht is geworden. Voorts is dankzij de evaluatie een aanzet gegeven tot meer gecoördineerde planning, monitoring en evaluatie van de subsector.

Hoewel de Nederlandse betrokkenheid bij de wegensector in Ghana beperkt was tot één transactie in het kader van het ORET/MILIEV-programma, heeft IOB toch actief geparticipeerd in de evaluatie, mede om ervaring op te doen met dit soort gezamenlijke evaluaties. Zoals eerder gesteld zullen dit soort evaluaties in de sectorale benadering steeds meer worden toegepast. Naar het oordeel van IOB is het proces als geheel redelijk soepel verlopen en bevestigd dat het model dat reeds in gebruik was voor multi-donor evaluaties van internationale programma's en instellingen ook in de bilaterale samenwerking kan worden toegepast. Dat model komt er op neer dat de evaluatie wordt vormgegeven door een stuurgroep, waarin alle betrokken evaluatiediensten zitting hebben. Enkele evaluatiediensten nemen vervolgens een leidende rol op zich (in dit geval de Deense evaluatiedienst en IOB) en verzorgen de werving en contractering van onderzoekers (in dit geval het NEI te Rotterdam). Vervolgens is de stuurgroep verantwoordelijk voor het vaststellen van het eindrapport van de evaluatie. Het rapport is uitgebracht in de evaluatiereeks van DANIDA. Om het gezamenlijke karakter van de evaluatie te benadrukken is de Ghanese vlag op de omslag geplaatst, alsmede de logo's van de organisaties van de betrokken evaluatiediensten.

Het eindrapport concludeert dat de beoordeelde interventies in de wegensector over het geheel genomen zeer relevant waren voor het regeringsbeleid in Ghana, zowel wat betreft de aandacht voor economische groei als wat betreft armoedevermindering. Dat laatste werd vooral bereikt door aandacht voor ontsluitingswegen voor het platteland. De effectiviteit van het wegenprogramma wordt over het geheel genomen als goed gekwalificeerd. De belangrijkste doelstelling om de wegen te repareren en te onderhouden is bereikt. Sommige doelstellingen, zoals betreffende institutionele ontwikkeling, doorberekening van kosten, en beheerskwesties zijn niet geheel bereikt, terwijl enkele nevengeschikte doelstellingen (zoals bevordering van niet-gemotoriseerd verkeer) slechts gedeeltelijk zijn bereikt. De efficiëntie van het programma liet te wensen over. Financieel waren er soms grote problemen om de gelden tijdig bij de juiste projecten te krijgen. De coördinatie tussen de Ghanese overheid en donoren verliep uitstekend als het ging om uitwisseling van informatie en taakverdeling in de sector. Daarentegen hield iedere donor vooralsnog vast aan de eigen procedures, en was van harmonisatie van de steun geen sprake.

De duurzaamheid van de verbeteringen in de wegensector is nog niet gegarandeerd, en blijft nog in de komende jaren afhankelijk van de steun van donoren. Dat ligt enerzijds aan de benodigde financiële middelen, anderzijds aan de gebreken op institutioneel niveau, die in de komende jaren zullen moeten worden aangepakt. Het gaat daarbij om zaken als privatisering van onderhoud, verdere opleidingen van kernstaf, organisatorische ontwikkeling, de introductie van het wegenfonds voor de duurzaamheid van de financiering, en een continuering van de prioriteit die de Ghanese overheid aan verbeteringen in de wegensector hecht.

Wat betreft de impact van het programma met name op de arme bevolkingsgroepen waren onvoldoende gegevens beschikbaar om tot een oordeel te komen. Op basis van bestaande impact studies mag worden verwacht dat de aanleg van ontsluitingswegen de armoede op het platteland zal verminderen. Tevens is bekend dat verbetering van de transport infrastructuur een grote impact heeft op de situatie van vrouwen. Zij profiteren het meeste van verbeterd transport.

Publicaties van de OESO

Donor Support for Institutional Capacity Development in Environment

Begin 2000 werden de bevindingen van het onderzoek "Donor Support for Institutional Capacity Development in Environment" gepubliceerd. Het onderzoek werd onder auspiciën van de "Working Party on Aid Evaluation" van de OESO door IOB in samenwerking met de evaluatiedienst van DfID (VK) gecoördineerd. Het doel van de studie was op basis van secondaire bronnen de voortgang van de integratie van milieu-aspecten in ontwikkelingsactiviteiten (mainstreaming) te beschrijven en de vorderingen in de opbouw van institutionele capaciteit op het gebied van milieu in ontwikkelingslanden in kaart te brengen. De studie is gebaseerd op circa 70 evaluatiestudies van DAC-donoren en andersoortige documentatie.

Geconcludeerd wordt dat aanzienlijke voortgang is geboekt bij het integreren van de aandacht voor het milieu in ontwikkelingssamenwerking. Toch blijft de aandacht voor milieu aspecten nodig omdat zowel aan de kant van de donoren als aan de kant van de ontvangende landen zwakheden zijn te constateren. Aan donorzijde betreft dit ondermeer het feit dat milieu te vaak als sector wordt beschouwd. Hierdoor dreigt het gevaar dat te zeer de nadruk wordt gelegd op interventies ter verbetering van het milieu ten koste van de mainstreaming van milieu in ontwikkelingsactiviteiten in algemene zin. De instelling van specifieke budgetcategorieën die uitsluitend voor milieu-projecten kunnen worden aangewend is een exponent van deze eenzijdige visie. Voorts is milieu nog te vaak een toegevoegd aandachtspunt in programma's hetgeen de integratie niet bevordert. Tot slot wordt geconstateerd dat eenheden verantwoordelijk voor de mainstreaming veelal weinig armslag hebben en in bepaalde gevallen hun werk in relatief isolement moeten uitvoeren.

Bij de ontvangende landen is sprake van aandacht voor het realiseren van macro-economische en sociale doelstellingen waarbij milieu overwegingen veelal onvoldoende aandacht krijgen hetgeen de duurzaamheid van de geboekte resultaten kan ondermijnen. Ook hier is sprake van relatieve onmacht en geringe capaciteit van instanties die tot doel hebben aandacht te vragen voor milieu-aspecten in nationale, regionale en lokale ontwikkelingsplannen (zoals een ministerie van milieuzaken). Dit heeft tot gevolg dat deze instanties de besluitvorming onvoldoende kunnen beïnvloeden.

De studie doet de volgende aanbevelingen:

Donoren dienen oog te hebben voor het langdurig en in voldoende mate ondersteunen van de groeiende aandacht in ontwikkelingslanden voor het milieu en de milieu-effecten van sociaal-economische ontwikkelingsprocessen.

Instituties in ontwikkelingslanden dienen niet alleen op centraal, maar juist op decentraal niveau te worden versterkt, waarbij ook niet-gouvernementele organisaties dienen te worden gesteund; daarnaast wordt voortgaande steun aan interregionale instituties onontbeerlijk geacht gezien de grensoverstijgende milieuproblematiek.

Beschikbare instrumenten als milieu-effect rapportage dienen te worden versterkt en bovenal te worden ingezet.

De publicaties van de OESO zijn te verkrijgen op de volgende adressen:

OECD publications


2, rue André-Pascal

75775 Paris Cedex 16

Frankrijk

www.oecd.org/dac/evaluation

Werkdocumenten

An evaluation of Netherlands cofinancing of World Bank activities in Ghana 1983-1996 - Nii K. Sowa, Centre for Policy Analysis, Accra/Howard White, Institute of Social Studies, The Hague - IOB-werkdocument/maart 1997

Dit landenrapport is één van zeven speciale onderzoeken die plaatsvonden voor het in 1999 gepubliceerde IOB-rapport over de Nederlandse co-financieringsactiviteiten met de Wereldbank. Het bevat een analyse van de co-financieringsactiviteiten in Ghana.

Report on the evaluation of cofinancing between the government of the Netherlands and the World Bank : special study Uganda 1981-1996 - Lucien Bäck, John Ddumba-Ssentamu, Germina Ssemogere, Fred van der Kraaij - IOB-werkdocument/september 1997

Dit landenrapport is één van zeven speciale onderzoeken die plaatsvonden voor het in 1999 gepubliceerde IOB-rapport over de Nederlandse co-financieringsactiviteiten met de Wereldbank. Het bevat een analyse van de co-financieringsactiviteiten in Oeganda.

Institutional development : Netherlands support to the water sector 1988-1998 : case studies - John Soussan (University of Leeds) - IOB-werkdocument/maart 2000

Dit rapport beschrijft het proces van institutionele veranderingen in de water sector in vier landen: Bangladesh, Egypte, India en Mozambique. Deze landen waren de belangrijkste ontvangers van Nederlandse steun in de water sector. De studie bekijkt het volume aan hulp, de soorten ondersteuning en de Nederlandse steun aan institutionele ontwikkeling in de vier genoemde landen.

Netherlands support to the drinking water sector in India : impacts on institutional development and change - John Soussan - IOB-werkdocument/maart 2000

Dit rapport beschrijft de trends in de drinkwatersector in India en in de staat Gujarat in het bijzonder in de periode 1988-1998. Het volume en de soorten hulp worden geanalyseerd, alsmede de Nederlandse steun aan institutionele ontwikkeling. Het rapport bevat interessante gezichtspunten over aspecten van institutionele ontwikkeling die van direct belang zijn voor de diensten die worden verleend mede als gevolg van infrastructurele investeringen.

Netherlands support to the water sector in Mozambique : evaluation of sector performance and institutional development - Roland P.A. Rodts - IOB-werkdocument/maart 2000

De bevindingen van een studie in 1999 naar de Nederlandse betrokkenheid bij de water sector in Mozambique zijn in dit rapport vervat. Het volume en de soorten hulp worden geanalyseerd, alsmede de Nederlandse steun aan institutionele ontwikkeling.

Voortrollende programmering 2000-2001 - IOB - werkdocument/augustus 2000

Op een relatief laat moment (meer dan een half jaar na aanvang van de periode die deze programmering beslaat) is de definitieve versie van de programmering 2000-2001 gepubliceerd. Hiervoor zijn twee redenen aan te wijzen. Ten eerste zijn bij IOB veranderingen aan de orde die tot extra nadenken over die programmering hebben geleid. In het kader van die veranderingen is overleg gevoerd, zowel binnen het ministerie als in Nederland als internationaal met collega-diensten van andere donoren en internationale instellingen. Ten tweede heeft IOB een "reikwijdte" onderzoek uitgevoerd waarvan de resultaten voor deze programmering van groot belang waren. Dit onderzoek heeft het IOB mogelijk gemaakt door een strategische keuze van onderwerpen de dekking van de begroting van Buitenlandse Zaken met evaluaties door IOB in de toekomst te verhogen van circa 30 procent naar circa 45 procent.

Van deze programmering is ook een Engelstalige versie als werkdocument beschikbaar.

De reikwijdte van IOB-studies : een analyse van evaluatierapporten 1978-1999
- Bibian Gerlag, Ted Kliest en Rob van den Berg - IOB-werkdocument/december 2000

Het onderzoek dat door IOB met ondersteuning van een externe consultant werd uitgevoerd, had een tweeledig doel. In de eerste plaats diende het de werkzaamheden van de Inspectie sedert haar oprichting in 1977 in kaart te brengen. Deze informatie kan worden benut bij interne en externe informatieverschaffing over de Inspectie en haar werkzaamheden. Een tweede doel van de studie betrof het inventariseren welke beleidsterreinen, beleidsthema's, sectoren en budgetcategorieën zijn bestreken door de evaluatiewerkzaamheden van de Inspectie. Het inzicht in de "evaluatiedekking" en "witte vlekken" is van belang voor de korte en lange termijn programmering van de werkzaamheden van IOB.

Onderzoek in uitvoering

In dit hoofdstuk worden de lopende activiteiten van IOB gepresenteerd. Allereerst passeren de evaluaties in voorbereiding en uitvoering de revue, waarbij een onderverdeling naar de elf beleidsartikelen van de begroting voor 2001 is aangebracht. Dat bevordert het zicht op waar het zwaartepunt van de evaluaties ligt en waar zich eventuele "witte vlekken" voordoen. Vervolgens worden de internationale activiteiten van IOB behandeld, waarna de overige activiteiten volgen.

Evaluaties

Art. 1 - Internationale Ordening

Onder dit artikel vinden momenteel geen evaluaties plaats. Wel onderneemt IOB activiteiten ter bevordering van de internationale samenwerking op evaluatiegebied, die in de volgende paragraaf worden behandeld.

Art. 2 - Vrede, Veiligheid en Conflictbeheersing

In de loop van het jaar zijn de verschillende mogelijke onderwerpen voor evaluaties op dit beleidsterrein, alsmede aanpalende beleidsterreinen in artikelen 3 en 4 (m.n. humanitaire hulp en vredesopbouw) geïdentificeerd en besproken met de betrokken beleidsdirecties. Tot een definitieve identificatie van een onderwerp leidde dit nog niet in het verslagjaar.

Art. 3 - Humanitaire Hulp

Op dit terrein vinden momenteel geen evaluaties plaats. Wel is IOB betrokken bij de internationale activiteiten op dit gebied (zie paragraaf 4.2)

Art. 4 - Goed Bestuur, Mensenrechten en Vredesopbouw

Matra-evaluatie

In februari 2000 werd de Russische vertaling van de Matra-evaluatie "Diamonds and Coals" (1999) gepubliceerd. Daarop volgend werden in samenwerking met de ambassade te Moskou en de Matra-afdeling twee workshops over maatschappelijke transformatie georganiseerd in Moskou en Perm. Aan deze workshops namen deel Russische maatschappelijke organisaties, overheidsvertegenwoordigers van verschillende niveaus, Russische consultants en internationale donoren. Een workshopverslag is verspreid onder de deelnemers.

Recipient-led evaluation

In het begin van 2000 is in een bijeenkomst in Parijs door een groot aantal evaluatiediensten in principe bereidheid uitgesproken een ontwikkelingsland te ondersteunen bij het zelf (onafhankelijk) evalueren van de hulpinspanningen aan het betrokken land. Als eerste mogelijkheid is Mozambique geïdentificeerd. Dat land kreeg echter te maken met een watersnoodramp, waardoor de evaluatieplannen enige tijd op een zijspoor kwamen te staan. Pogingen om een ander land te identificeren stranden op vaak politieke problemen - veel ontwikkelingslanden kennen geen evaluatiecultuur en hebben vooral problemen met de onafhankelijke status van het soort evaluatie dat de evaluatiediensten zouden willen ondersteunen. In de tweede helft van het jaar gaf de minister van Buitenlandse Zaken van Mozambique te kennen in principe te voelen voor een recipient-led evaluatie. In een notitie van IOB, de Evaluation Office van UNDP en de OED is aan de regering van Mozambique steun op dit punt in principe toegezegd.

Art. 5 - Europese Integratie

Agenda 2000

In het verslagjaar werd een begin gemaakt met de - in de programmering van IOB opgenomen - evaluatie naar de onderhandelingen over Agenda 2000
, dat wil zeggen de onderhandelingen over de financiering van de Unie voor de periode 2000 tot 2006 waarover op 26 maart 1999 in de Europese Raad overeenstemming werd bereikt. In het verslagjaar werden de feiten en omstandigheden geïnventariseerd en besloten tot het toepassen van het Decide

-model voor het analyseren van de onderhandelingen. Dit model wordt gebruikt om inzicht te verwerven in complexe onderhandelingssituaties met twee of meer partijen. Aan het einde van het verslagjaar vond overleg over de definitieve terms of reference voor het onderzoek plaats.

Art 6 - Bilaterale Ontwikkelingssamenwerking

Samenwerking met Mali

In het vorige hoofdstuk is het eindresultaat van de evaluatie van de samenwerking tussen Nederland en Mali over de periode 1994-98 reeds besproken.

Transportsector Ghana (multi-donor)

De resultaten van de multi-donor evaluatie van het Subsectorale Wegenprogramma in Ghana zijn eveneens in het vorige hoofdstuk aan de orde geweest.

Schuldverlichting

In 2000 is de inventarisatie van de Nederlandse bijdragen aan internationale schuldverlichting voltooid. Hoofdmoot van de inventarisatie vormde de constructie van een digitale
database
, waarin alle 315 traceerbare schuldverlichtingsactiviteiten met hun belangrijkste kenmerken uit de periode 1990-1999 zijn opgenomen. Op basis van praktische en theoretische inzichten in de werking van schuldverlichting is vervolgens het analysekader geconstrueerd, waarbinnen doelgerichtheid, doeltreffendheid en doelmatigheid van de internationale schuldverlichting, inclusief de Nederlandse bijdragen daaraan zullen kunnen worden beoordeeld. Dit analysekader vormt de kern van de Terms of Reference voor de totale studie, waarvan de opstelling inmiddels is voltooid. Aangezien geen van de benaderde multilaterale en bilaterale evaluatiediensten op afzienbare termijn plannen heeft om schuldverlichting te gaan evalueren, was het niet mogelijk voor dit onderzoek samenwerking met collega-organisaties aan te gaan.

Gezondheid, voeding en bevolking

De evaluatie is eind januari gestart met een inventarisatie van beleidsdocumenten en activiteiten. Op basis hiervan zijn drie landen geselecteerd voor de uitvoering van het onderzoek: Burkina Faso, Jemen en Mozambique. Het dossieronderzoek van deze landen is afgerond en evaluatieteams zijn geselecteerd. De Universiteit van Amsterdam heeft een paper over de toe te passen methodologie opgesteld. Dit paper is besproken tijdens een seminar over methodologie met de evaluatieteams uit de betrokken landen. Tijdens deze bijeenkomst is tevens een werkplan voor de drie landen opgesteld. De eerste fase van het onderzoek in Burkina Faso, documentstudie en interviews met sleutelfiguren is afgerond. Op basis daarvan zijn de terms of reference voor de evaluatie vastgesteld. De tweede fase, waarin onderzoek op gezondheidsposten en op niveau van het huishouden wordt uitgevoerd, is in gang gezet.

Basisonderwijs (multi-donor)

Ter voorbereiding van de multi-donor evaluatie van basisonderwijs heeft IOB in samenwerking met de beleidsdirectie (DCO) een inventarisatie van het onderzoeksonderwerp gemaakt. In september heeft IOB vervolgens de algemene uitgangspunten voor de evaluatie besproken met de evaluatiediensten van twaalf donoren en donororganisaties waaronder de Utstein-partners en de Wereldbank. Er blijkt voldoende draagvlak te bestaan voor dit initiatief; besloten werd een voorbereidende studie te laten verrichten door een expert op het gebied van basisonderwijs. Deze studie, die door IOB wordt begeleid en gefinancierd wordt begin 2001 voltooid. De resultaten worden in februari 2001 besproken met de evaluatiediensten die het initiatief ondersteunen, waarna de terms of reference voor de daadwerkelijke evaluatie worden opgesteld.

Hulpcoördinatie

Het vooronderzoek naar de coördinatie van hulp is in 2000 voortgezet. Het vooronderzoek spitste zich toe op twee 'case studies in partnership', de coördinatieaspecten van de Nederlandse ondersteuning van plattelandsontwikkeling/lokaal bestuur in Oeganda en van de gezondheidssector in Zambia. Het dossieronderzoek van de casus Oeganda is ver gevorderd. Er is een database opgesteld van alle activiteiten in de sector sinds 1992. Daarnaast is een studie verricht van de voor de sector relevante beleidsdocumenten en evaluaties.

Locatie specifieke armoedebestrijding

De voorbereidingen van de evaluatie "locatie specifieke armoedebestrijding" zijn nagenoeg afgesloten met opstelling van het ontwerp van de terms of reference. De studie gaat uit van de positie en de perceptie van de arme bevolkingsgroepen in relatie tot armoede in geselecteerde gebieden en de evaluatie richt zich op de relevantie, de doeltreffendheid en de doelmatigheid van de interventies vanuit de optiek van deze bevolkingsgroepen. Daarbij zullen de trends in de regionale ontwikkeling en het beleid van het land op de verschillende bestuursniveaus in relatie tot de armoedeproblematiek worden onderzocht en beoordeeld.

Cultuur en ontwikkeling

Parallel aan de evaluatie van het internationaal cultuurbeleid is in 2000 gewerkt aan een inventarisatie van beleid en instrumenten op het gebied van cultuur en ontwikkeling. Door gebrek aan operationalisatie van het beleid en onvoldoende systematisch gegevensbeheer op dit gebied werd in de loop van 2000 afgezien van een evaluatie. In plaats daarvan zal de beleidsanalyse worden voltooid.

Art. 7 -
Multilaterale Ontwikkelingssamenwerking

Co-financiering met de Wereldbank

Op dit rapport, dat in het voorjaar van 1999 verscheen, verscheen pas in februari een beleidsreactie van de minister voor Ontwikkelingssamenwerking, op aandringen van de Tweede Kamer. De beleidsreactie is overigens in het verslagjaar door de Tweede Kamer nog niet besproken met de minister. Voorts zijn een tweetal deelstudies van de co-financieringsevaluatie in 2000 verschenen als werkdocument.

Multi-bi financiering met FAO

In het najaar van 2000 is een start gemaakt met een vooronderzoek voor de evaluatie van de multi-bi samenwerking met de FAO. Het vooronderzoek bestond uit een tweetal activiteiten die beide tot doel hadden het veld van onderzoek in kaart te brengen, een beredeneerde afbakening te bewerkstelligen en de basis te leggen voor de formulering van de evaluatievragen. De eerste activiteit behelsde het opstellen van een database van alle gefinancierde projecten in de periode 1990-1999. Aan de hand van deze database is inzicht verkregen in de thema's en sectoren waaraan in de afgelopen jaren fondsen beschikbaar zijn gesteld, de geografische spreiding en fluctuaties daarin. De database vormt de basis voor de selectie van projecten voor bureau- en veldstudies. De tweede activiteit betrof een systematische inventarisatie van alle beleidsuitspraken die betrekking hebben op de samenwerking vanaf 1985. Op grond van deze inventarisatie, aangevuld met interviews, zal de beleidshistorie worden gereconstrueerd. Voorts zijn in de afgelopen periode oriënterende gesprekken gevoerd met bij de samenwerking betrokkenen zowel aan Nederlandse als aan FAO-zijde.

Evaluatie UNFPA/IPPF (multi-donor)

In 2000 is door BMZ een begin gemaakt met gesprekken met de betrokken instanties ter voorbereiding van deze evaluatie. Daarmee is deze evaluatie, die door de evaluatiedienst van BMZ is aangekaart, aanzienlijk vertraagd. Werd oorspronkelijk een uitvoering in de tweede helft van 2000 voorzien; thans is het de vraag of nog vóór de tweede helft van 2001 tot uitvoering kan worden gekomen.

Evaluatie UNDP (multi-donor)

In de loop van 2000 bleek na veelvuldige consultatie met evaluatiediensten van andere donoren dat het aanvankelijke enthousiasme voor een veldevaluatie van UNDP niet in concrete actie kon worden vertaald. Veel donoren stelden zich in tweede instantie op het standpunt dat UNDP over een eigen evaluatiedienst beschikt, die aan een eventuele behoefte aan extra evaluatie tegemoet zou moeten komen. Het Nederlandse standpunt dat een gezamenlijke evaluatie, ook mét de evaluatiedienst van UNDP, juist extra zicht op de interactie van UNDP met andere donoren kan bieden, werd niet gevolgd.

Evaluatie Comprehensive Development Framework (CDF) mechanisme (multi-donor)

IOB heeft deelgenomen aan een workshop ter bespreking van een evaluatieopzet voor het CDF-mechanisme, voorbereid door de Wereldbank. De besprekingen over deze opzet zijn nog gaande.

UN-AIDS evaluatie

In de loop van het jaar werd Directeur IOB in een adviserende capaciteit betrokken bij het opzetten van de evaluatie van de eerste vijf jaren van het UN-AIDS programma, die eind 2000 van start zou hebben moeten gaan. In samenspraak met de betrokken beleidsdirecties en de Permanente Vertegenwoordiging in Genève, alsmede evaluatiediensten van andere donoren is aanbevolen aan UN-AIDS de onafhankelijkheid en kwaliteit van de evaluatie te garanderen door inschakeling van de evaluatiediensten van multilaterale organisaties en bilaterale donoren. Daartoe heeft IOB gezamenlijk met de Noorse evaluatiedienst een aanbod aan UN-AIDS gedaan. Van dit aanbod is geen gebruik gemaakt. In plaats daarvan heeft UN-AIDS gekozen voor het in leven roepen van een onafhankelijke stuurgroep die de evaluatie zou moeten begeleiden. De advisering van IOB en andere evaluatiediensten heeft wel geleid tot een onafhankelijker vormgegeven evaluatie dan in een eerdere fase voorzien was.

Art. 8 - Particuliere Sector en Maatschappelijke Ontwikkelingssamenwerking

Institutionele ontwikkeling in de watersector

De resultaten van deze evaluatie zijn besproken in het vorige hoofdstuk.

Nederlandse maatschappelijke initiatieven

In de tweede helft van 2000 is een begin gemaakt met de inventarisatie van Nederlandse maatschappelijke initiatieven en daarbij betrokken instanties en organisaties op het gebied van ontwikkelingssamenwerking, de afgelopen tien jaar.

Art. 9 - Politieke en Economische Belangenbehartiging

Behartiging buitenlandse belangen van de Nederlandse Antillen en Aruba

De voorbereidende activiteiten met betrekking tot deze evaluatie zijn in het laatste kwartaal van 2000 aangevangen. Dit betrof het voeren van verkennende gesprekken over de uitgangspunten en mogelijke reikwijdte van de studie.

Economische samenwerking

Eind 2000 is een eerste begin gemaakt met het opstellen van terms of reference voor een inventariserende studie van onderwerpen op het gebied van economische samenwerking.

Art. 10 - Asiel, Migratie en Consulaire Dienstverlening

De werkzaamheden van Buitenlandse Zaken op dit gebied lijken sterk organisatorisch van aard, en daarmee eerder voor een "bedrijfsdoorlichting"-achtige evaluatie in aanmerking te komen, dan voor een beleidsevaluatie door IOB.

Art. 11 - Internationaal Cultuurbeleid

Evaluatie internationaal cultuurbeleid

Na een inventarisatie van het gehele beleidsterrein is in september de Terms of Reference voor de evaluatie van het internationaal cultuurbeleid vastgesteld. Vier verschillende deelonderzoeken zullen worden uitgevoerd, waarbij verschillende aspecten van het beleid onder de loep zullen worden genomen. Het veldonderzoek wordt uitgevoerd in vijf prioriteitslanden, namelijk Frankrijk, Zuid-Afrika, Russische Federatie, Verenigde Staten en Japan.

Internationale activiteiten

Art 1 - Internationale orde

DAC Working Party on Aid Evaluation (WP-EV)

In 2000 heeft IOB evenals voorgaande jaren actief deelgenomen aan diverse activiteiten van de DAC Working Party on Aid Evaluation. In januari werden de resultaten van de door IOB geleide en samen met de evaluatiediensten van het Verenigd Koninkrijk en Denemarken ondernomen studie "Donor Support for Institutional Capacity Development in Environment" door de OESO gepubliceerd in de serie "Evaluation and Aid Effectiveness".

Als lid van de stuurgroep heeft IOB ondersteuning geboden aan de evaluatiediensten van JICA en het Japanse Ministerie van Buitenlandse Zaken bij de vormgeving van een onderzoek op het gebied van "evaluation feedback". De bevindingen van dit onderzoek werden besproken op een door Japan georganiseerd internationaal seminar, waarbij IOB een paper inbracht over de aanpak van de feedback van IOB-onderzoek.

Voorts werd inhoudelijk en financieel steun verleend aan de volgende onderzoeken:

Het inventariseren en inhoudelijk systematiseren van door donoren gehanteerde concepten en definities voor evaluatie en results-based management. Dit onderzoek wordt geleid door de Wereldbank;

Het inventariseren van door DAC-donoren opgedane ervaringen met Results-Based Management.

Art. 3 - Humanitaire Hulp

Active Learning Network for Accountability and Performance in Humanitarian Assistance (ALNAP)

ALNAP is een "inter-agency forum" dat zich tot doel stelt de leer- en accountability-functie in het internationale humanitaire systeem te bevorderen. ALNAP is een onafhankelijk lichaam dat wordt ondersteund (met vrijwillige bijdragen) door bilaterale donoren, de VN-familie, de Rode Kruis organisaties en internationale koepel organisaties van NGO's. Het secretariaat van ALNAP is ondergebracht in the Britse Overseas Development Institute, maar functioneert inhoudelijk en financieel op een onafhankelijke wijze. ALNAP kent een stuurgroep bestaande uit vertegenwoordigers van de hoger genoemde institutionele leden; het lidmaatschap roteert om de twee jaar.

Met ingang van 2000 fungeert IOB als lid van de stuurgroep en vervult daarmee een stimulerende en sturende rol ten aanzien van het evaluatie- en onderzoeksprogramma van ALNAP. In 2000 organiseerde ALNAP onder meer in oktober het symposium "Learning from Evaluation: Humanitarian Assistance and Protection in Kosovo". Centraal op deze bijeenkomst stond een synthese rapport van de bevindingen van ruim 30 evaluaties met betrekking tot de in het kader van de Kosovo crisis verleende humanitaire hulp alsmede een analyse van in deze evaluaties toegepaste benaderingen en methoden. Ook werd een bijdrage geleverd aan de samenstelling van een publicatie over de ervaringen met evaluatie van humanitaire hulp. Het boek getiteld "Evaluating Humanitarian Action: Perspectives from Practitioners" zal in 2001 worden gepubliceerd door ZED Press, Londen.

Art. 4 - Goed Bestuur, Mensenrechten en Vredesopbouw

Evaluation Partnership Programme for Monitoring and Evaluation Capacity Building

In juli heeft IOB een samenwerkingsovereenkomst gesloten met de Operations Evaluation Department (OED) van de Wereldbank. Deze samenwerking heeft inmiddels geresulteerd in gezamenlijk door OED en IOB uit te voeren programma voor de opbouw van evaluatiecapaciteit in ontwikkelingslanden. Dit programma is in december goedgekeurd voor financiering uit het door Nederland met de Wereldbank overeengekomen "Partnership Programme". De kern van het programma betreft het uitvoeren van diagnostische studies naar de nationale context voor beleidsevaluatie (wettelijk en institutioneel kader) en de evaluatiecapaciteit ter plekke. De uitkomsten van deze studies bepalen de wijze waarop de capaciteitsopbouw kan worden bevorderd, onder meer door middel van ondersteuning van de ontwikeling van nationale of regionale "centres of excellence for evaluation" en het verlenen van beurzen voor M&E-opleidingen. Voorts zal het programma bijdragen aan de oprichting van een International Development Evaluation Association (IDEAS). Naar aanleiding van overleg in de DAC Working Party on Aid Evaluation in november 2000, zullen de initiatiefnemers voor IDEAS (OED en het Evaluation Office van UNDP) de plannen verder vormgeven. Het uitgangspunt is dat IDEAS in aanvulling op nationale en regionale verenigingen van evaluatoren zal fungeren als forum van én voor evaluatoren in ontwikkelingslanden en evaluatoren in donorlanden.

Evaluatie en monitoring PRSP's

IOB heeft tezamen met OED activiteiten ontwikkeld ter voorbereiding van een workshop, te houden in Den Haag, in maart 2001, om te peilen wat de behoeften van ontwikkelingslanden zijn aan monitoring en evaluatie in de context van de Poverty Reduction Strategies en hoe zij daarin kunnen worden ondersteund.

Seminars

Mede met het oog op de ondersteuning van initiatieven die moeten leiden tot een door een ontvangend land zelf opgezette en uitgevoerde evaluatie werd door IOB deelgenomen aan een Seminar dat was gericht op ' Evaluation Capacity Building in Africa'. Dit werd in Zuid Afrika georganiseerd door de Development Bank of Southern Africa. Voorts werd deelgenomen aan de conferentie van de European Evaluation Society in Lausanne in oktober. Tijdens die conferentie heeft IOB een sessie georganiseerd over "partnership" in evaluatie.

Art. 5 - Europese Integratie

Samenwerking tussen de Europese evaluatiediensten.

In het kader van de Europese samenwerking vindt op het gebied van de ontwikkelingssamenwerking regelmatig overleg plaats tussen de hoofden van de evaluatiediensten van de lidstaten en het hoofd van de evaluatiedienst van de Commissie. In het verslagjaar vond dit overleg driemaal plaats, namelijk op 9 februari, 29 mei en 16 oktober. Dit overleg is onder andere gericht op het uitwisselen van informatie over evaluaties van de lidstaten en de Commissie die in uitvoering zijn of die in voorbereiding zijn. Daarnaast worden in deze groep initiatieven genomen om te komen tot gezamenlijke evaluaties. Zo werd in de vergadering op 16 oktober besloten een vooronderzoek te starten naar een mogelijke evaluatie van de 3 C's: complementariteit, coherentie en coördinatie.
Over deze drie begrippen zijn in het Verdrag van Maastricht artikelen opgenomen. In de bijeenkomst van de hoofden van de evaluatiediensten werd besloten tot het instellen van een stuurgroep voor de 3 C's die tot taak kreeg een mogelijke evaluatie naar de 3 C's voor te bereiden. In deze stuurgroep hebben zitting de Commissie, Nederland, het VK en Zweden. Een eerste bespreking van de stuurgroep vond plaats op 13 november in Stockholm. In deze vergadering werd besloten tot het laten uitvoeren van een verkennende studie voor een evaluatie naar de 3 C's.

Advisering en overige activiteiten

Reikwijdte studie

In het vorige hoofdstuk werd reeds verslag gedaan van deze studie, die tot de publicatie van een werkdocument heeft geleid.

Kenniscentrum evaluaties

Hoewel de oprichting van de "helpdesk" voor decentrale evaluaties al in mei 2000 door de ministers van Buitenlandse Zaken en voor Ontwikkelingssamenwerking aan de Tweede Kamer werd aangekondigd, duurde het tot eind 2000 voor de knoop ten aanzien van de financiering van de extra benodigde formatieplaats werd doorgehakt. Het kenniscentrum heeft tot doel de intensivering van de interactie met het apparaat teneinde de kwaliteit te bevorderen van evaluaties die onder verantwoordelijkheid van budgethouders worden uitgevoerd. In 2001 zal invulling worden gegeven aan het kenniscentrum.

In 2000 is echter reeds veelvuldig op ad hoc basis advies verstrekt aan directies en posten over door hen op te zetten evaluaties. Genoemd kunnen worden onder meer:

IOB verstrekte regelmatig advies over de door Nederland geïnstigeerde evaluatie van IDEA. Deze evaluatie werd in de loop van 2000 afgerond en op 12 en 13 december 2000 in Stockholm besproken in een Extraordinary Council Meeting van IDEA;

Voorts is advies verstrekt voor de evaluatie van het natuurbeheerprogramma in Midden en Oost-Europa (PIN-Matra) en in ontwikkelingslanden (PIN/OS). Voor beide evaluaties zijn stuurgroepen in het leven geroepen waarin ook het ministerie van LNV zitting had en waarvan IOB deel uitmaakte.

Verder is advies gegeven over de evaluaties van de door BuZa gefinancierde VNG-activiteiten.

DHW en HMA Paramaribo zijn geadviseerd over evaluatiemogelijkheden in verband met het weer opstarten van de ontwikkelingsrelatie met Suriname;

De evaluatie van het regeringsstandpunt Tropisch Regenwoud is door betrokkenheid in de stuurgroep begeleid;

IOB heeft intensief geadviseerd bij de vormgeving en uitvoering van de evaluatie van de Duurzame Ontwikkelingsverdragen (DOV).

Financiën

Onderzoeksbudget (Artikel 07.01.6)

IOB kent een onderzoeksbudget voor het financieren van de uitvoering van de evaluaties. In 2000 werd in totaal NLG 1,7 miljoen (EUR 0,77 mln.) uitgegeven. Op jaarbasis is in principe NLG 4 miljoen (EUR 1,82 mln.) beschikbaar. Voor 2000 gold dat een groot aantal evaluaties in voorbereiding was, terwijl de substantiële uitgaven vooral geschieden tijdens de uitvoering van het onderzoek. In de eerste maanden van 2000 leidde de programmering voor 2000-2001 nog tot een neerwaartse bijstelling van de begroting tot circa NLG 3,2 miljoen (EUR 1,45 mln.). Al snel bleek in de loop van het jaar dat door een samenloop van omstandigheden een veel lagere uitputting zou worden gerealiseerd. Door vertraging en afstel van voorgenomen gezamenlijke evaluaties, werd circa NLG 0,7 miljoen (EUR 0,32 mln.) minder uitgegeven. Onderbesteding ad NLG 0,3 miljoen (EUR 0,14 mln.) was te wijten aan het databeheer en de dossiervorming bij het Ministerie van Buitenlandse Zaken. In veel gevallen bleek extra onderzoek nodig om de betrouwbaarheid van de gegevens te achterhalen en dossiers op te sporen. Dat leidde op zich weer tot extra uitgaven. Ook bij IOB zelf was sprake van uitstel van uitgaven ad een kwart miljoen door een reeks van oorzaken, waaronder langdurige ziekte van één inspecteur en onderschatting van de inzet die uit de reguliere formatie nodig is om uitbesteed onderzoek te begeleiden.

Hieronder zijn de belangrijkste cijfers inzake de onderuitputting in 2000 schematisch samengevat.

Toelichting Percentage Bedrag in 1000 NLG Bedrag in 1000 Euro

Begroting 2000 4.000 1.815

Vrijgevallen in de programmering 2000 820 372

Aangepaste begroting 2000 100 3.180 1.443

Af:

Vertraging en afstel internationale evaluaties 22 710 322

Vertraging databeheer Buza 10 330 150

Vertraging in uitvoering bij IOB 17 250 114

Besparingen in evaluaties 12 190 86

Uitputting 2000 54 1.700 771

Personele uitgaven

IOB beschikt niet over inzicht in de personeelsuitgaven gemoeid met de vaste staf van de Inspectie, aangezien het ministerie van Buitenlandse Zaken de personeelsbegroting niet tot op het niveau van Directie specificeert.

IOB beschikte in 2000 over een directeur, een plaatsvervangend directeur tevens inspecteur, en acht reguliere inspecteurs. Daarnaast was in 2000 nog één tijdelijke inspecteur voor het gehele jaar bij IOB geplaatst uit de zogenaamde functionele arbeidsreserve bij het Ministerie van Buitenlandse Zaken. De Inspectie beschikt over financieel-administratieve en logistieke ondersteuning, waarvoor 3,5 fte beschikbaar is. In het voorjaar vertrok een secretaresse, waarna de oprichting van het bedrijfsbureau ter hand werd genomen. In de overgangstijd werd een uitzendkracht ingehuurd. Tot de instelling van het bedrijfsbureau is geformaliseerd, blijft 1,5 fte "onbezet", dat wil zeggen dat op deze formatieplaatsen in 2000 geen reguliere medewerkers van Buitenlandse Zaken zijn geplaatst.

Het ziekteverzuim was in de verslagperiode redelijk, te weten op minder dan vijf procent van de totale werktijd.

Mandaat, werkwijze en kengetallen IOB

Mandaat en werkwijze

De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie, kortweg IOB, is belast met de evaluatie van het buitenlands beleid van Nederland.

IOB is een onafhankelijk onderdeel van het ministerie van Buitenlandse Zaken en rapporteert rechtstreeks aan de minister van Buitenlandse Zaken en/of de minister voor Ontwikkelingssamenwerking. De betrokken minister zendt de rapporten van IOB naar het parlement. In principe worden ze in de Tweede Kamer besproken in de Vaste Kamercommissie voor Buitenlandse Zaken, op basis van de beleidsreactie die de minister op het rapport heeft gegeven.

Bij haar oprichting in 1977 werd IOB uitsluitend belast met de evaluatie van de bilaterale hulpverlening (destijds nog onder de naam van Inspectie Ontwikkelingssamenwerking te Velde - IOV). Na de herijking van het buitenlands beleid in 1996 is het mandaat van IOB uitgebreid en volgde een naamswijziging.

De Inspectie is onafhankelijk in het opstellen van de onderzoeksprogrammering. Concepten van die programmering worden besproken met het ministerie. Tevens worden in de programmering verzoeken van de ministers of het parlement opgenomen. In de periode na 1988 heeft de minister voor Ontwikkelingssamenwerking zeven keer de Inspectie expliciet verzocht een evaluatie te ondernemen. Twee maal kwam het verzoek daartoe van de minister voor Antilliaanse en Arubaanse zaken. In negen gevallen waren vragen in het Parlement de aanleiding een evaluatie-onderzoek te entameren. Dat betekent dat circa 40 % van de ondernomen evaluaties na 1988 "op verzoek" geschiedde.

Bij elk onderzoek is IOB onafhankelijk in het vaststellen van de onderzoeksopzet, de wijze van uitvoering, het onderzoek zelf, en het formuleren van de conclusies uit het onderzoek. De eindrapporten worden onder verantwoordelijkheid van IOB gepubliceerd.

IOB besteedt aandacht aan het up to date houden en verdiepen van vaardigheden van de inspecteurs op het gebied van methodologie en verbetering van de eigen werkwijze en uitbreiding van de benodigde vakkennis. Bij de verschillende fasen van de studies onder verantwoordelijkheid van IOB worden tevens onafhankelijke deskundigen betrokken. IOB doet ook steeds vaker een beroep op de medewerking van instituten of deskundigen op het gebied van veldonderzoek in partnerlanden. Voor vrijwel elke evaluatie wordt een referentiegroep samengesteld uit onafhankelijke deskundigen en ambtenaren van het ministerie. Deze referentiegroep adviseert over de onderzoeksmethodologie en de aanpak.

Kengetallen

Basisgegevens

Periode: 1988-2000

Totaal aantal evaluatierapporten 55

waarvan:

Programma-evaluaties 16

Evaluaties van landenprogramma's 12

Thema-evaluaties 8

Synthesestudies 2

Sectorevaluaties 3

Evaluaties van beheersprocessen 2

Multi-donor evaluaties met participatie van IOB 12

Participatie IOB in studies van OECD/DAC WP/AE 7

Werkdocumenten 7

Financiële omvang van de geëvalueerde activiteiten f 32.077.600.000

(EUR 14.556.180.250)

Steekproefomvang van de geëvalueerde activiteiten f 15.125.600.000

(EUR 6.863.698.036)

Steekproeffractie 47 %

(NB: hiervoor zijn alleen de door IOB zelf ondernomen evaluaties in beschouwing genomen)

Kengetallen

Gemiddelde aantal evaluatieproducten per jaar 5,3

Gemiddelde doorlooptijd van het evaluatie-onderzoek 26 maanden

Gemiddelde kosten per evaluatie (1993-2000) f 1.297.350

(EUR 588.712)

Evaluatiedekking IOB-studies 1997-2000 op de HGIS-begroting

2000 (in % van de totale ODA-uitgaven 1996-2000 en HGIS

non-ODA uitgaven 1997-2000) 30 %

===

reageer via disqus

Nieuwsbank op Twitter

Gratis persberichten ontvangen?

Registreer nu

Profiteer van het gratis Nieuwsbank persberichtenfilter

advertentie