Referentie:
Broekman, T.G., & Schaap, C. (1984). Programma
evaluatie in twee instellingen voor psychosociale hulpverlening.
In G.M. Schippers, N. Sijben, C. Schaap, & J. Mastboom
(Eds.), Programma-evaluatie in de Geestelijke Gezondheidszorg
(pp. 143-153). Lisse: Swets & Zeitlinger.
Published with permission of the publisher Swets & Zeitlinger Publishers, Lisse
Aan de hand van twee concrete projecten schetsen wij in deze bijdrage een aantal gebruiksmogelijkheden van programma-evaluatie. We beginnen met een korte beschrijving van de twee instellingen waar de projecten plaatsvinden. Vervolgens gaan we wat verder in op de evaluatiecriteria vanwege het feit dat het gebruik mede bepaald zal worden door de keuze van de criteria. Tot slot worden enkele voorbeelden gegeven waarbij een onderscheid wordt aangebracht tussen gebruikswaarde, feitelijk gebruik en invloed.
De twee instellingen waar systematisch evaluatie plaatsvindt
zijn zogenoemde 'instituten voor kortdurende intramurale
psychosociale hulpverlening', te weten het Derde Orde Huis in
Wijchen en het Mutsaersoord in Venlo. Sinds de start van de
evaluatie in november 1981 zijn er tot nu toe in het Derde Orde
Huis van ongeveer 400 cliënten gegevens verzameld en in het
Mutsaersoord van ongeveer 300 cliënten.
Beide instellingen hebben een capaciteit van ongeveer 40
plaatsen. In het Derde Orde Huis worden alleen vrouwen opgenomen.
De verwijzing van cliënten vindt voornamelijk plaats via de
huisarts en/of het algemeen maatschappelijk werk. Voor het Derde
Orde Huis lagen de percentages van zulke verwijzingen in 1982 op
respectievelijk 40% en 25% (Broekman, 1982). Na aanmelding van
een cliënt door een verwijzer vindt er een intakegesprek plaats,
waarna al dan niet tot opname wordt besloten. Contra-indicaties
zijn: problematiek waarbij psychiatrische hulp geïndiceerd is,
ernstige verslavingsproblematiek en noodzaak tot lichamelijke
verpleging of verzorging.
De leeftijd van de cliënten ligt tussen 20 en 65 jaar, waarbij
het gemiddelde iets boven 40 jaar. De cliënten kunnen als
LIBO-cliënten worden gekwalificeerd: zij hebben over liet
algemeen een Laag Inkomen; als de cliënten al een Beroep
uitoefenen dan is dit over het algemeen van een laag niveau. Ook
het Opleidingsniveau is laag te noemen: ongeveer 40% lager
onderwijs en bijna 30% lager beroepsonderwijs.
De opnameduur ligt over het algemeen tussen zes en twaalf weken.
Gedurende deze tijd verblijven de cliënten In een leefgroep van
twaalf cliënten. De behandeling van de cliënten Is gebaseerd op
een cognitief-gedragstherapeutische benadering. Naast Individuele
gesprekken die de cliënt met zijn of haar begeleid(st)er heeft,
participeert hij of zij In een aantal groepsactiviteiten
waaronder rationeel-emotleve therapie, een
assertiviteitstraining, de weekendbespreking,
ontspanningsoefeningen en creatieve therapie.
De Interesse om te evalueren lag in het begin voornamelijk bij
degenen die Inhoudelijk bij het werk betrokken waren, namelijk de
psycholoog, die een taak als werkbegeleider en supervisor heeft,
en de begeleid(st)ers, die het programma uitvoeren. Deze
Interesse kwam tot uiting In vragen als: Wat zijn de effecten van
het verblijf? Houden mogelijke effecten ook stand als de cliënt
weer thuis is? Zijn er bepaalde cliënten die niet of nauwelijks
verbeteren en anderen die juist sterk verbeteren?
Kenmerkend voor beide projecten is ons inziens deze ietwat vage
interesse die bij het uitvoerende personeel bestond. Enerzijds
heeft dit als gevolg dat de vragen die gesteld worden minder
duidelijk zijn in die zin, dat deze vragen minder direct
impliceren hoe antwoorden gezocht moeten worden. Het meest
centrale probleem bij deze vragen is de definitie van effect; een
vraag overigens die al vele jaren aan de orde is in
psychotherapie-effectonderzoek (Kazdin en Wilson, 1978).
Anderzijds heeft het als voordeel dat de evaluatie inhoudelijk
'ruim' ingericht kan worden. De evaluator wordt niet uitsluitend
gestuurd door een van tevoren vastgelegde informatiebehoefte maar
kan samen met, in dit geval, de hulpverleners beslissen wat
onderzocht gaat worden. Hierbij vinden wij het als evaluator
belangrijk dat de evaluatie mede moet dienen ter vermeerdering
van de kennis over de cliënten en verandering bij de cliënten.
Overigens moet hierbij opgemerkt worden dat de informatiebehoefte
van hulpverleners vaak zal verschillen van die van het management
of het bestuur. Iedere partij heeft zijn zo eigen optiek op de
vragen en de manier waarop antwoorden gezocht moeten worden.
Met als uitgangspunt de interesse van de hulpverleners hebben wij
ons bij het bepalen van de te meten variabelen op drie aspecten
geconcentreerd:
Centraal als resultaatcriterium staan de doelklachten van de
cliënt (de "target complaints"; Battle, C.C. en
anderen, 1966). Deze doelklachten worden in een gesprek met een
psycholoog vastgesteld: de cliënt wordt uitgenodigd te vertellen
waarom en vanwege welke klachten of problemen bij of zij een
beroep doet op de instelling. Vervolgens worden de doelklachten
samen met de cliënt bondig geformuleerd en opgeschreven. Deze
korte formulering biedt de cliënt op het moment van vertrek een
referentiepunt bij het beoordelen van de verandering van deze
doelklachten.
Het grote voordeel van werken met doelklachten is dat deze een
hoge face-validiteit hebben. Immers, zowel verwijzers als
potentiële cliënten stellen, weliswaar impliciet, de vraag:
Helpt het verblijf? Komt de cliënt van zijn of haar problemen
af? Het voordeel van het werken met doelklachten is dat ze sterk
gericht zijn op de individuele cliënt. Uiteindelijk is het de
individuele cliënt waar het programma effect op moet hebben.
Er schuilen echter ook problemen in het hanteren van doelklachten
als criterium voor het resultaat. Het grootste probleem is dat
deze niet gestandaardiseerd zijn. Formulering en selectie vinden
plaats in interactie met een hulpverlener en deze heeft hier
natuurlijk Invloed op. Deze invloed proberen wij zo beperkt
mogelijk te houden door de hulpverlener te instrueren om de
cliënt niet te sturen naar zogeheten therapeutische doelen.
Formulering van therapeutische doelen is namelijk een onderdeel
van therapie. Doelklachten daarentegen dienen de weerslag te zijn
van de problemen en klachten van de cliënt zoals deze die
ervaart en die voor hem of haar de reden vormen om naar de
instelling te gaan.
Het niet gestandaardiseerd zijn van de doelklachten maakt ook
onderlinge vergelijking van cliënten tot een probleem. Indien
twee cliënten eenzelfde beoordeling van verbetering op de
doelklachten rapporteren, kan men niet zeggen dat de cliënten in
gelijke mate veranderd of verbeterd zijn. Cliënt A kan namelijk
een doelklacht geformuleerd hebben waarop vooruitgang
gemakkelijker bereikbaar is dan op de doelklacht die cliënt B
geformuleerd heeft.
Als laatste noemen we een tweeledig waardenprobleem dat bij de
doelklachten naar voren komt en dat van grote invloed is op de
acceptatie van de doelklacht als verbeteringscriterium door de
hulpverleners. In de eerste plaats is het mogelijk dat een
cliënt een doelklacht formuleert waarvan de hulpverlener vindt
dat het programma er geen direct effect op kan hebben,
bijvoorbeeld het niet hebben van werk. Bij een negatieve
beoordeling door de cliënt zal de therapeut zich verweren door
te zeggen dat de cliënt een verkeerde doelklacht heeft gekozen;
verbetering van deze klacht ligt buiten de invloed van het
programma. In de tweede plaats is het mogelijk dat de cliënt een
doelklacht heeft geformuleerd waarvan de therapeut niet vindt dat
de therapie zich er op zou moeten richten. De cliënt formuleert
bijvoorbeeld hoofdpijn als doelklacht, terwijl In de ogen van de
therapeut de relatie van de cliënt met zijn of haar partner de
doelklacht zou moeten zijn. De doelstelling van de therapeut is
dan bijvoorbeeld dat de cliënt zich meer assertief in deze
relatie opstelt. Het is derhalve zeer goed mogelijk dat de
therapeut, bij een negatieve beoordeling door de cliënt, de
doelklacht 'hoofdpijn' niet als verbeteringscriterium zal
accepteren. De therapeut zou, indien de cliënt bij ontslag zegt
nog steeds hoofdpijn te hebben, er op kunnen wijzen dat de
cliënt meer assertief in de relatie met zijn of haar partner is
geworden en dat er wel degelijk sprake is van verbetering. Het
gebruik van doelklachten van de cliënt als criterium impliceert
in feite dat, Indien de therapeut een andere doelklacht hanteert
dan de oorspronkelijke doelklacht van de cliënt, deze in ieder
geval een positieve uitwerking op de doelklacht van de cliënt
moet hebben. Zo zou in ons voorbeeld het meer assertief worden
zijn weerslag moeten vindenAn vermindering van hoofdpijn.
Tenslotte willen we hier nog aanstippen dat het niet zo kan zijn dat het uitsluitend de cliënt is die kan bepalen wat het criterium, waarvan verbetering op doelklachten er slechts één Is, moet zijn. Vanzelfsprekend zijn hierbij ook andere partijen betrokken, met name de therapeut als deskundige op het gebied van het psychisch functioneren en de maatschappij als geheel. Strupp en Hadley (1977) hebben gewezen op de noodzaak om deze drie perspectieven: de cliënt, de deskundige en de maatschappij, bij het bepalen van evaluatiecriteria te betrekken (het zogeheten tripartite model).
Om ook de begeleiders in beide instellingen in staat te stellen om hun oordeel over de verbetering van een cliënt te geven op een op het individu gebaseerde wijze, formuleren zij In de werkbegeleiding, waar het behandelingsplan wordt opgesteld en het verloop van de behandeling wordt geëvalueerd, de therapeutische doelklachten die zij voor de betreffende cliënt zien. Wat deze nu precies in moeten houden hebben wij hen blijkbaar niet voldoende duidelijk kunnen maken. Het gevolg is geweest dat er verwarring is ontstaan over wat voor een bepaalde cliënt de therapeutische doelen zijn. De oorspronkelijke omschrijving: 'die klachten en of problemen die jullie gaan behandelen', bleek niet genoeg houvast te bieden. In de werkbegeleiding ontstonden steeds meer discussies over wat nu een therapeutisch doel was. Vooral het onderscheid tussen een doelstelling ('goal') en de doelklacht ('target') bleek moeilijk te zijn.
Alhoewel wij de vooruitgang, zoals de therapeuten deze op de door hen geformuleerde therapeutische doelen beoordelen, vanwege bovengenoemde moeilijkheden niet bij de resultaten betrekken, gaan wij toch met deze procedure door. De reden hiervoor is dat de psychologen, die als werkbegeleider functioneren van mening zijn, dat het moeten formuleren van deze doelen een zekere structurering bij de werkbegeleiding kan betekenen. Enerzijds is het het nastreven waard om een zekere duidelijkheid te bewerkstelligen ten aanzien van verschillende doelen en anderzijds kan de expliciete formulering van een doelklacht voorkomen dat een therapeut van het ene doel naar het andere zwalkt.
Overigens is het nuttig om hier het verschil tussen individuele doelstellingen van cliënten of therapeuten en instituutsdoelstellingen onder de aandacht te brengen. Laatstgenoemde kunnen in conflict komen met individuele doelen van cliënten maar ook met de doelen van individuele therapeuten. Om een voorbeeld te noemen: een bekende instituutsdoelstelling is de bezettingsgraad hoog te houden. Als onze cliënt met hoofdpijn niet met de therapeut tot een vergelijk kan komen over de behandeling, en beiden vinden dat de opname beter beëindigd kan worden, kan het gebeuren dat er onder het regime van de bezettingsgraad druk op de cliënt en de therapeut uitgeoefend wordt om dit niet te doen. Een evaluator zal zich op zijn minst bewust moeten zijn van de verschillende doelstellingen van de betrokken partijen. Anders loopt hij het gevaar zich ondoordacht te vereenzelvigen met de doelstellingen van één van de partijen (Scriven, 1973).
Naast de geïndividualiseerde wijze van evaluatie bepalen we ook de verandering van de cliënt op gestandaardiseerde psychologische variabelen. Met behulp van een klachtenlijst (SCL-90) meten we de mate waarin de cliënt aangeeft hinder te ondervinden van een aantal psychische en psychosomatische klachten (Arrindel en Ettema, 1981). Deels om recht te doen aan het feit dat de instellingen zich richten op cliënten met psychosociale problematiek, bepalen we de mate waarin de cliënt zijn of haar directe sociale milieu als negatief ervaart. Dit doen wij middels een zelf ontwikkelde vragenlijst (Broekman, 1982). En tenslotte meten we middels de Nederlandse Persoonlijkheids Vragenlijst (NPV) een aantal persoonlijkheidskenmerken (Luteijn, 1975). De klachtenlijst en de persoonlijkheidsvragenlijst worden bij opname en vertrek ingevuld. De sociale omgevingslijst bij opname en follow-up (drie maanden na vertrek). De persoonlijkheidsvragenlijst is opgenomen om te onderzoeken of bepaalde persoonlijkheidstrekken of -profielen geassocieerd zijn met de mate van succes. Veranderingen op de klachtenlijst fungeren samen met veranderingen op de inadequatieschaal van de NPV, verbeteringsschattingen van de therapeut en de doelklachtenverbeteringsschatting van de cliënt als resultaatmaten.
Essentieel bij programma-evaluatie is het gebruik van de resultaten. Alvorens we hier verder op ingaan moeten we een onderscheid maken tussen de gebruikswaarde, het feitelijk gebruik en de invloed van de resultaten (Leviton en Hughes, 1981).
Gebruikswaarde heeft betrekking op de relevantie van de resultaten. Feitelijk gebruik heeft betrekking op een actieve manier van kennis nemen van de resultaten en deze betrekken bij bijvoorbeeld het nemen van beslissingen, het uitoefenen van politieke druk en het opbouwen van kennis over het programma. Van invloed van de resultaten is sprake indien de resultaten leiden tot een verandering van het programma of van het beleid. Enerzijds kunnen de resultaten een lage gebruikswaarde hebben omdat bijvoorbeeld de kwaliteit van de gegevens In termen van validiteit en betrouwbaarheid laag is, of bijvoorbeeld omdat de resultaten geen praktische waarde hebben voor de betreffende instelling. Anderzijds kan het zijn dat, ondanks dat de resultaten wel gebruikt worden, deze geen invloed hebben omdat er andere factoren zoals gevestigde tradities, vooroordelen en politieke verhoudingen een grotere rol spelen in het besluitvormingsproces (Wurzburg, 1979). De drie aspecten van het gebruik die wij onderscheiden: gebruikswaarde, feitelijk gebruik en invloed zullen wij aan de hand van de evaluaties in het Derde Orde Huis en het Mutsaersoord verder toelichten.
Als het resultaat van een programma redelijk goed vastgelegd wordt, blijft het natuurlijk een probleem hoe een verband gelegd kan worden tussen het resultaat en (de uitvoering van) het programma. Naarmate we daar beter toe in staat zijn zal de gebruikswaarde van de evaluatie groter zijn. Immers, dan kan men het programma bijstellen: formatieve evaluatie (Scriven, 1967; Cronbach en anderen, 1980). Een strategie die wij gevolgd hebben om een verband te kunnen leggen tussen het programma en het resultaat is de cliënten het programma te laten beoordelen. Dit gebeurt zowel in algemene termen: of men het zinvol heeft gevonden om in de Instelling te verblijven, als met specifieke beoordelingen van programma-onderdelen. Aan de cliënt wordt dus naast de beoordeling op de doelklachten ook gevraagd in hoeverre hij of zij vindt dat de verschillende programma-onderdelen hebben bijgedragen tot verbetering.
Cliëntsatisfactie kan zeker niet beschouwd worden als een resultaatcriterium. Cliënten rapporteren over het algemeen een zeer hoge mate van satisfactie (Gutek, 1978; Stipak, 1982). Blijkbaar gebeurt dit vrij onafhankelijk van het betreffende programma: cliënten stoten niet graag hun hulpverleners voor het hoofd. Bovendien verdisconteren zij in hun oordeel ook dat sommige problemen buiten de verantwoordelijkheid van het programma vallen en kunnen zij wel tevreden over het programma zijn, zonder dat het hun resultaat opgeleverd heeft. Toch hebben cliëntsatisfactiematen wel degelijk nut bij het evalueren van een programma, en wel met name wanneer deze continu verzameld worden. Het gaat dan niet om de absolute grootte van de satisfactie maar om de variaties in de gemiddelde beoordelingen zowel tussen programma-onderdelen onderling als in het verloop van de tijd. Juist door deze variaties kan de instelling attent gemaakt worden op het minder adequaat functioneren van een bepaald programmaonderdeel.
Een andere strategie om een verband te kunnen leggen tussen de uitvoering van het programma en het bereikte resultaat is gebruik te maken van de variatie die er binnen het bestaande programma bestaat. Aan de hand van deze variaties kan men de resultaten uitsplitsen.
In het Mutsaersoord bijvoorbeeld worden cliënten selectief aan een bepaalde groep toegewezen. Dit onderscheid in groepen hanteren wij ook in de kwartaalverslagen (zie volgende paragraaf). Enerzijds verheldert dit het beeld, omdat verschillen tussen deze groepen zichtbaar blijven en differentiële werkzaamheid van programma-onderdelen voor verschillende typen van cliënten (in casu verschillende groepen) niet verhuld wordt in totaalgemiddelden van de gehele instelling. Anderzijds moet men met de conclusies voorzichtig zijn omdat de cliënten niet 'at random' aan een groep toegewezen worden. Cliëntkenmerken kunnen dus een grote rol spelen bij een eventueel verschil in resultaat tussen de groepen. Wanneer er sprake is van een bijzonder homogeen programma binnen de instelling waarbij iedere cliënt van dezelfde onderdelen in dezelfde mate gebruikmaakt, dan vervalt deze mogelijkheid vrijwel geheel. De enige variatie waarvan men dan gebruik kan maken is die van de uitvoerende hulpverlener. Deze lijkt ons niet zo bijzonder geschikt omdat programma-evaluatie niet gebruikt dlent te worden ter beoordeling van individuele personeelsleden.
De laatste mogelijkheid om de gebruikswaarde te verhogen die wij hier willen noemen, is er een op langere termijn. Indien na langere tijd van dataverzameling een redelijk groot databestand is opgebouwd, ontstaat de mogelijkheid om te analyseren of er bepaalde cliëntkenmerken geassocieerd zijn met de mate van succes. Met behulp van multivariate analyse kan men proberen een profiel van de 'succes' en van de 'faal'-cliënt te maken. Een dergelijk profiel kan de basis vormen voor een verandering in het programma, bijvoorbeeld door andere programma-onderdelen in te voeren of door een cliënt aan een bepaalde behandelgroep toe te wijzen waarvan het programma speciaal toegesneden is op de kenmerken van de cliënt.
De gegevens worden op verschillende wijzen gebruikt. Iedere drie maanden houden wij een zogeheten feedback-ronde. Deze ronde valt samen met het verschijnen van het kwartaalverslag. In deze feedbackbijeenkomsten worden samen met de psycholoog en de begeleiders in iedere leefgroep de evaluatiegegevens van iedere cliënt afzonderlijk doorgesproken. Ook presenteren we gemiddelden over de gehele leefgroep, zowel van de klachtenlijst en de persoonlijkheidsvragenlijst, als van de cliëntbeoordelingen van de programma-onderdelen. Ter illustratie van wat er op deze bijeenkomsten zoal naar voren komt, geven we twee voorbeelden van gebruik in het Derde Orde Huis.
Het eerste voorbeeld betreft een opmerkelijke afwijking van de
gemiddelde beoordeling door de cliënten van een bepaald
programmaonderdeel te weten de weekend-bespreking. Dit is een
bespreking met de gehele leefgroep over hoe het afgelopen weekend
thuis verlopen is. Het feit dat dit programma-onderdeel een
afwijkende beoordeling kreeg, werd een aantal malen tijdens deze
bijeenkomsten besproken.
Het tweede voorbeeld betreft een sterke afwijking van de
resultaten in een bepaalde leefgroep vergeleken met de twee
andere leefgroepen. Tijdens een feedback-bijeenkomst bleek deze
afwijking volgens de begeleiders samen te hangen met
vakantieperikelen.
Andere resultaten, die pas na analyse van een groot aantal gegevens verkregen kunnen worden, zullen in themabijeenkomsten gepresenteerd worden. Zo staat op het programma een bijeenkomst gewijd aan het profiel van cliënten die niet of nauwelijks verbeteren vergeleken met cliënten die duidelijk wel verbeteren. Zo blijkt dat cliënten die bij opname een hoge rigiditeitsscore op de NPV hebben nauwelijks verbeteren. Ook de schalen inadequatie. verongelijktheid en dominantie zijn negatief gecorreleerd met verbetering. Een suggestie die door de evaluator tijdens deze bijeenkomst zou kunnen worden gedaan is om de NPV-scores van iedere cliënt consequent In de werkbegeleiding te bespreken. Cliënten die, afgemeten aan het NPV-profiel, een slechte prognose hebben, zouden dan extra aandacht in de werkbegeleiding kunnen krijgen. Eventueel zou men een bepaalde speciaal op het profiel afgestemde strategie kunnen ontwikkelen.
Een ander thema dat op het programma staat zijn de follow-upresultaten. Op het moment hebben we de gegevens hiervan nog niet voldoende geanalyseerd.
Een derde manier van gebruik van resultaten ligt voornamelijk bij het bestuur en de directie. Het evaluatiejaarverslag biedt hen een duidelijk inzicht in het functioneren van de instelling. Bovendien is het mogelijk om bij het jaarverslag van de instelling gebruik te maken van het evaluatieverslag. Op deze manier krijgt de evaluatie ook de functie van externe verantwoording.
Analoog aan de moeilijkheid van het vaststellen van resultaten van een programma is de moeilijkheid om de resultaten van een evaluatie zelf vast te stellen. Effecten kunnen op een concreet en op een meer globaal niveau worden waargenomen. Om met dit laatste te beginnen: het is zonder enige twijfel zo, dat er in de beide instellingen inmiddels een sfeer van 'onderzoek doen' is ontstaan. Zowel de administratie als de therapeuten zijn eraan gewend geraakt formulieren in te vullen, zich vast te leggen op doelen en doelstellingen en dergelijke. Ook valt er een positieve attitude ten aanzien van het uitproberen van nieuwe programma-onderdelen of procedures waar te nemen. Langzamerhand biedt dit de mogelijkheid om ook andere, meer wetenschappelijke vragen te gaan stellen, en zodoende meer generaliseerbare kennis te vergaren.
Met behulp van de voorbeelden over het gebruik, kunnen we ook de concrete invloed illustreren. De feedback-bijeenkomsten waar de weekend-bespreking als uitschieter naar voren kwam, hebben tot gevolg gehad dat deze veranderd werd, zowel organisatorisch als inhoudelijk. Er werd afgesproken dat de therapeuten meer de nadruk zouden leggen op positieve dingen die in het weekend thuis gebeurd waren. Bovendien zou geprobeerd worden om minder in te gaan op de aspecten in het verhaal van de cliënt die hij of zij vooral leek te vertellen om zichzelf te bewijzen dat het thuis toch nooit goed zou kunnen gaan. Organisatorisch werd de volgende verandering aangebracht: In plaats van dat de hele leefgroep tezamen het weekend doorpraatte, deed nu iedere therapeut dit apart met zijn of haar cliënten. Dit zou een veiligere sfeer voor de cliënten tot gevolg kunnen hebben. Of deze invloed van het gebruik van de resultaten ook een verbetering in de beoordelingen tot gevolg heeft, zal nog moeten worden bezien.
Zoals al gezegd werd het gegeven dat de resultaten in één bepaalde leefgroep sterk afweken van de resultaten in de twee andere groepen, In de feedback-bijeenkomst in verband gebracht met perikelen die als gevolg van een vakantieperiode optraden. Of deze informatie door de Instelling gebruikt zal gaan worden om de regelingen van de vakanties te wijzigen, moeten wij afwachten. Als evaluator hebben wij daar geen invloed op.
Na deze concrete voorbeelden wijzen we er tenslotte op dat de Invloed van de resultaten voor een aanzienlijk deel afhangt van de rol die de evaluator In de Instelling inneemt. Heel kort en bondig geformuleerd komt het neer op de macht die hij heeft: de plaats die hij inneemt in het krachtenspel van al dan niet vermeende cliëntbelangen, therapeutbelangen, instituutsbelangen, maatschappelijke belangen en eigenbelang.
Arrindel, W.A. en Ettema, H. (1981). Dimensionele structuur, betrouwbaarheid en validiteit van de Nederlandse bewerking van de Symptom Checklist (SCL-90); gegevens gebaseerd op een fobische en een normale' populatie. Nederlands Tijdschrift voor de Psychologie, 36, 77-108.
Battle, C.C., Imber, S.D., Hoehn-Saric, R., Stone, A.R., Nash, E.R. en Frank, D.J. (1966). Target complaints as criteria of lmprovement. American Journal of Psychotherapy 20, 184-192.
Broekman, T.G. (1982). Interimrapport program-evaluatie Derde Orde Huis. Nijmegen: Derde Orde Huis.
Broekman, T.G. (1983). Interimrapport nr. 2 program-evaluatie Derde Orde Huis. Nijmegen: Derde Orde Huis.
Cronbach, L.J., Ambron, S.R., Dornbusch, S.M., Hess, R D Hornik R.C., Philips, D.C., Walker, D.F. en Weiner, S.S. (1980). Toward reform of program evaluation. San Francisco: Jossey-Bass Publishers.
Gutek, B.A. (1978). Strategies for studying client satisfaction. Journal of Social Issues, 34, 44-56.
Leviton, L.C. en Hughes, E. . (1981). Research on the utilization of evaluations. Evaluation Review, 5, 525-548.
Luteijn, F., Starren, J. en Dijk, H. van (1975). Handleiding bij de NPV. Lisse: Swets & Zeitlinger.
Scriven, M. (1973). Goal free evaluation. In E.R. House (Ed.), School evaluation. Berkeley: McCutchan.
Scriven, M. (1967). The methodology of evaluation. In E.W. Stake and others (Eds.), Perspectives on curriculum evaluation. AERA Monographs Series on curriculum evaluatlon, no. 1. Chicago: Rand McNally.
Stipak, B. (1982). Using clients to evaluate programs. In E.R. House, S. Mathison, J.A. Pearsol and H. Preskil (Eds.), Evaluation Studies Review Annual, 7, 585-602.
Strupp, H.R. en Hadley, S.W. (1977). A tripartite model of mental health and therapeutic outcomes. American Psychologist, 32, 187-196.
Wurzburg, G. (1979). What limits the impact of evaluations on federal policy? In: L.-E. Datta and R. Perloff (Eds.), Improving evaluations. Beverley Hills: Sage Publications.