Reference:
Broekman, T.G. (1991). Kwaliteit in de geestelijke gezondheidszorg: wetenschappelijk onderzoek als dagelijkse praktijk (Bêta-prikkel nr. 5). Nijmegen: Bureau Bêta.
Het is moeilijk om uitspraken te doen over effecten van behandelingen die in de geestelijke gezondheidszorg gebruikt worden. Vaak is beweerd dat verschillende behandelingen onderling weinig verschillen in effectiviteit vertonen. De behandelingen hebben zoveel gemeenschappelijk, in het bijzonder de relatie tussen de behandelaar en de cliënt en de verwachtingen van de cliënt, dat de techniek van de behandeling vrijwel niet meer uitmaakt.
Nog niet zolang geleden is een studie afgesloten van het National Institute of Mental Health (NIMH) in de VS. In deze studie hebben de onderzoekers getracht de meeste van de genoemde problemen op te lossen (Elkin, Parloff, Hadley, & Autry, 1985 ). De effecten van vier ambulante behandelingen zijn geëvalueerd voor cliënten met een depressieve episode in engere zin die geen andere psychiatrische stoornis hadden. At random werden de cliënten (N=240) toegewezen aan één van de volgende condities: cognitieve gedragstherapie, interpersoonlijke therapie, imipramine met standaardzorg of placebo met standaardzorg. De vier behandelingen waren gepland voor de duur van 16 weken met ongeveer één sessie per week: 50 minuten voor de psychotherapieën en 2030 minuten voor de medicamenteuze behandelingen (behalve de eerste sessie, die ook 50 minuten duurde). De standaardzorg (SZ) in de beide medicatiecondities (imipramine en placebo, dubbelblind toegediend volgens een in het handboek vastgesteld semiflexibel doseringsschema) bestond uit wat men normaal doet - of misschien beter gezegd: tenminste zou moeten doen - voor cliënten bij wie medicatie geïndiceerd is: bespreken van gunstige effecten en bijwerkingen, steun en bemoediging geven, bevorderen van therapietrouw et cetera. De standaardzorg en de beide psychotherapieën zijn uitgebreid in handboeken beschreven en ook gepubliceerd ( Fawcett, Epstein, Fiester, Elkin, & Autry, 1987; Beck, Rush, Shaw, & Emery, 1979; Klerman, Weissman, Rounsaville, & Chevron, 1984).
In hoeverre komt deze studie nu tegemoet aan enkele genoemde bezwaren van eerdere studies?
Ten eerste zijn de uitkomstcriteria divers. Er worden (a) globale maten voor de verbetering gebruikt, (b) maten voor verschillende algemene aspecten van het persoonlijk functioneren, (c) maten specifiek voor depressie en (d) maten die specifiek zijn voor de verschillende behandelingen. Ook heeft men er rekening mee gehouden dat er vanuit verschillende gezichtspunten geëvalueerd dient te worden ( Strupp & Hadley, 1977):
Ten tweede is in deze studie erg veel aandacht besteed aan wat wel de integriteit (integrity) of getrouwheid (fidelity) van de behandeling genoemd wordt. De behandelingen zijn in handboeken beschreven, de behandelaars werden getraind in de behandelingen en er werd van tevoren beoordeeld of ze in staat waren de behandeling goed uit te voeren. Bovendien werd in het onderzoek zelf gecontroleerd in hoeverre de behandeling werd uitgevoerd zoals die uitgevoerd zou moeten worden.
Ten derde is de studie in drie verschillende centra verricht met patiënten die zich normaliter melden bij of verwezen worden naar de betreffende centra en met ervaren behandelaars. In zoverre representeert de studie dan ook zeer goed de klinische praktijk.
Ten vierde is de doelstelling van het project volstrekt duidelijk. Het gaat in het onderzoek niet om het vaststellen van theoretisch werkzame componenten, maar om het bepalen van de waarde van de twee psychotherapeutische behandelingen ten opzichte van de referentiebehandeling met imipramine in de klinische praktijk. Het onderzoek is dan ook zo opgezet dat het optimaal representatief is voor de klinische praktijk wat betreft cliënten, problemen en behandelaars, terwijl er voldoende experimentele controle is om wetenschappelijk verantwoorde conclusies te kunnen trekken. Met name de placeboSZ conditie geeft een goede controle op eventuele eigenaardigheden die in een studie op kunnen treden omdat hiermee gecontroleerd kan worden of imipramine dezelfde mate van effect sorteert ten opzicht van placebo als in andere studies (Noot 1.)
We kunnen concluderen dat de studie voor de meeste in de inleiding geconstateerde problemen goede oplossingen gevonden heeft. Alleen voor het probleem van het meten van psychologische en psychiatrische variabelen heeft men geen adequate oplossingen bedacht. Bij de keuze voor het meetinstrumentarium heeft men zich alleen laten leiden door het richtsnoer van de consensus: het zijn oude en veel gebruikte meetinstrumenten waarop nogal wat kritiek mogelijk is (zie bijvoorbeeld Broekman & Nolen (1992) voor een bespreking van de HDRS en de BDI). Bovendien is er geen meetmodel geformuleerd waarin de onderlinge samenhang tussen de instrumenten geëxpliciteerd kan worden, waardoor de meting van de variabelen zuiverder kan plaatsvinden. Blijkbaar hebben de onderzoekers besloten niet teveel van de geëffende paden af te wijken om niet het gevaar te lopen dat de studie vanwege vernieuwingen in meet en anlysemethoden niet algemeen geaccepteerd zou worden.
Wat zijn tot nu toe de voornaamste bevindingen? Alhoewel er een trend was dat imipramineSZ de beste resultaten had, vervolgens de twee psychotherapieën en tenslotte de placeboSZ, was in de verschillende analyses vrijwel geen enkel verschil op de vier uitkomstmaten HDRS, GAS, BDI en de HSCL statistisch significant ( Elkin et al. 1989). Als de cliënten echter werden opgedeeld in een groep met matig ernstige depressie (HDRS 1419) en een groep met ernstige depressie (HDRS >=> 20) dan bleken er duidelijke en significante interacties tussen ernst van depressie en behandeling te bestaan (hetzelfde bleek bij een tweedeling op basis van de GAS met als scheidingspunt 51). Voor cliënten met een matig ernstige depressie bleek er geen verschil tussen de vier behandelingen. PlaceboSZ deed het echter veel slechter bij cliënten met ernstige depressie dan bij cliënten met matig ernstige depressie. Imipramine deed het minstens even goed tot beter. De beide psychotherapieën deden het bij de cliënten met een ernstige depressie wat minder dan bij de cliënten met een matig ernstige depressie. De interpersoonlijke therapie was daarbij significant beter dan placeboSZ, de cognitieve gedragstherapie niet.
Er kon niet worden aangetoond dat de verschillende behandelingen specifieke effecten veroorzaken die verwacht kunnen worden op grond van de theoretische werkzaamheid van de behandelingen ( Imber et al., 1990). Zo veroorzaakte cognitieve gedragstherapie niet meer effect op een dysfunctioneleattitudeschaal, interpersoonlijke therapie niet op een socialeaanpassingsschaal en imipramine niet op een endogenedepressieschaal. Zowel cognitieve gedragstherapie, interpersoonlijke therapie, imipramineSZ als placeboSZ veroorzaakten ongeveer gelijke verbetering wat betreft dysfunctionele attituden, sociale aanpassing en endogene depressie.
In de hoofdanalyses blijken de behandelingen niet statistisch significant te verschillen. De opdeling van de cliënten in een groep met matig ernstige depressie en een groep met ernstige depressie laat echter wel verschillen zien. Ook de psychotherapieën hebben verschillende effecten wanneer naar subgroepen van cliënten wordt gekeken. Behandelingen blijken voor verschillende groepen cliënten een verschillende mate van effect te hebben. Dat is ook precies waar het toekomstig onderzoek op gericht dient te zijn. Voor welke cliënten heeft welke behandeling het meest effect? En hoe preciezer we kunnen definiëren en meten wat de relevante kenmerken van de cliënt zijn des te beter zullen we in staat zijn behandelingen in hun effecten van elkaar te onderscheiden en effecten die nu nog aan gemeenschappelijke factoren toegeschreven worden terug te dringen ten gunste van effecten die aan bepaalde methoden en technieken zijn toe te schrijven. De NIMHstudie geeft een aantal goede aanknopingspunten voor dit soort onderzoek.
Het meest in het oog springende resultaat is de effectiviteit van de placeboSZ conditie: in de hoofdanalyses bleek deze niet veel minder effectief dan de actieve condities. Wel bleek deze conditie duidelijk minder effectief voor cliënten met een ernstige depressie. De onverwacht hoge mate van effectiviteit voor mild depressieve cliënten valt waarschijnlijk toe te schrijven aan de kwaliteit van standaardzorg (SZ), gecombineerd met het feit dat de cliënten in een uitgebreid onderzoek participeerden waarin ze, naast de aandacht die ze vanwege de behandeling ontvingen, ook door de vele metingen veel aandacht hebben gekregen. De standaardzorg die in de studie in de medicatiecondities is gegeven, is helaas geen standaard in de praktijk in de VS ( Editorial Note, 1989) en er is weinig reden aan te nemen dat dit in Nederland wel het geval zou zijn. We kunnen dan ook concluderen dat de standaardzorg zoals in de studie gegeven, ook standaardzorg in de zin van standaard als minimale norm zou moeten zijn in de praktijk. Beslissingen over behandelingen die verder gaan dan de standaardzorg (medicatie, vormen van psychotherapie of andere behandelingen) dienen genomen te worden op basis van zorgvuldige diagnostiek, waarbij in ieder geval de ernst van de stoornis bepaald dient te worden en, indien men een van beide psychotherapieën zou willen toepassen, de mate van sociaal dysfunctioneren van de cliënt en/of de mate waarin de cliënt dysfunctionele attituden heeft.
Een tweede hoofddoel van de studie was na te gaan in hoeverre een dergelijk nationaal en gezamenlijk onderzoeksproject, waarin aan een groot aantal bezwaren tegen vroegere studies tegemoet zou worden gekomen, haalbaar zou blijken te zijn. Welnu, het is haalbaar gebleken. Het heeft wel veel tijd en moeite gekost, maar het is gelukt en de resultaten zijn de moeite waard. Vanuit deze ervaringen zullen we nu eens naar de Nederlandse situatie kijken.
In Nederland wordt weinig onderzoek gedaan naar effecten van psychiatrische en/of psychologische behandelingen of zorgvormen. We bespreken kort drie vormen van onderzoek.
(1) Zelfevaluatie, waarbij een instelling, zonder te interveniëren in de praktijk, zelf de effecten (laat) onderzoek(t)(en) van de zorg die door de instelling of een deel van de instelling wordt verleend. Deze vorm van evaluatie kan voor de instelling zelf en voor de uitvoering van de zorg binnen de instelling van grote waarde zijn, maar de resultaten zijn vaak niet van belang voor anderen omdat in het algemeen als gevolg van de onderzoeksopzet geen generaliseerbare conclusies getrokken kunnen worden over de effectiviteit van de zorg die de instelling heeft geleverd. Elders hebben wij al eens aangegeven hoe dergelijke projecten overigens een meerwaarde kunnen krijgen boven het belang dat ze voor de instelling zelf hebben ( Schippers & Broekman, 1988). Vooral onder de noemer programma evaluatie zijn in de jaren tachtig een aantal instellingen begonnen met vaak langdurige zelfevaluatieprojecten. Voorbeelden hiervan zijn projecten van Beenackers (1986), Broekman & Dassen (1988) en Sijben (1986). Ook een eenmalig project zoals de kwaliteitsbeoordeling door RIAGG-cliënten van Kooi & Donker (1991) is een vorm van zelfevaluatie die zich beperkt tot cliëntbeoordelingen.
(2) Nietgecontroleerde evaluatie, waarbij effecten van een specifieke behandeling of vormen van zorg onderzocht worden zonder gecontroleerde vergelijking met een andere behandeling. Voor deze evaluaties geldt in hoge mate hetzelfde als voor de zelfevaluaties van instellingen. Wat deze evaluaties voor hebben op de zelfevaluaties is dat dat wat geëvalueerd wordt, namelijk de behandeling of zorgvorm, vaak duidelijker en beter omlijnd is dan bij zelfevaluaties waar vaak de hele instelling object van evaluatie is. In zoverre kunnen dergelijke evaluaties als ze gepubliceerd worden aanleiding geven aan anderen om de behandeling ook toe te passen omdat deze veelbelovend lijkt te zijn. Voorbeelden van dergelijke evaluaties zijn het onderzoek naar effecten van gedragstherapeutische ambulante behandeling van dwangneurose ( Hoogduin, 1986) en het onderzoek naar effecten van klinische multimodale gedragstherapie ( Kwee, 1984).
(3) Gecontroleerde evaluatie, waarbij behandelingen of vormen van zorg onderling vergeleken worden en cliënten op basis van toeval de ene of de andere behandeling of zorgvorm ondergaan. Helaas gaat het hierbij vrijwel altijd over een nieuwe experimentele vorm van behandeling, zoals bijvoorbeeld het Substitutieproject Drenthe (Wiersma, Kluiter, Nienhuis Rüphan, & Giel, 1989) en het Psychose Preventie Project ( Vlaminck, 1990). In het eerste project worden de effecten van een nieuwe vorm van zorg (dagbehandeling met overnachting op indicatie) vergeleken met de gangbare vorm van zorg (klinische opname). In het tweede project wordt een nieuwe intensievere vorm van zorg voor schizofrene patiënten vergeleken met de normale zorg (poliklinisch begeleiding). Alhoewel dergelijke projecten ongetwijfeld een grote invloed zullen hebben op het ontwikkelen en invoeren van de nieuwe vorm van zorg kunnen de wetenschappelijke conclusies niet gegeneraliseerd worden. Dergelijke projecten, waarin de alternatieve vorm van zorg tegelijkertijd ontwikkeld en geëvalueerd wordt, kunnen geen oordeel opleveren over de waarde van de alternatieve vorm vergeleken met de gangbare vorm in het algemeen. Innovatieprojecten kunnen een indicatie geven dat een andere, nieuwe behandeling of vorm van zorg mogelijk is. De uiteindelijke evaluatie moet gescheiden worden van de innovatie en dient plaats te hebben op andere plaatsen dan die waar de nieuwe behandeling ontwikkeld is. Want zoals Van Borsum Waalkes het verwoordde: "iedere onderzoeker in de GGZ weet dat een nieuwe behandelingswijze of behandelingsstructuur aanvankelijk veel betere resultaten oplevert dan in een later stadium" (1990, p.11).
Alhoewel er verbetering zichtbaar is, vindt in Nederland nog steeds te weinig wetenschappelijk onderzoek plaats naar effecten van behandelingen of vormen van zorg. De geestelijke gezondheidszorg in Nederland is nog altijd vooral beschouwend en te weinig empirisch van aard. Rooijmans en Van Hemert (1990) analyseerden de inhoud van het Tijdschrift voor Psychiatrie en vroegen zich af, nadat ze geconstateerd hadden dat het tijdschrift weinig empirisch onderzoek publiceerde, of "de grote internationale aandacht voor het observationeel onderzoek in het Tijdschrift voldoende wordt belicht" (p.132). Waarschijnlijk representeert het Tijdschrift voor Psychiatrie net als het Maandblad Geestelijke volksgezondheid goed de praktijk van de geestelijke gezondheidszorg. Deze is in het algemeen nog steeds weinig empirisch georiënteerd, laat staan empirisch gefundeerd.
Voor het doen van wetenschappelijk onderzoek is het onontbeerlijk dat er betrouwbare en valide gegevens beschikbaar zijn. Nu, hiermee is het niet goed gesteld. Er is veel moeite en geld gestoken in registratiesystemen maar deze blijken van weinig waarde wanneer men een onderzoek wil doen. Zo moesten bijvoorbeeld Kooi & Donker (1991) in hun onderzoek naar kwaliteitsbeoordeling van cliënten over de RIAGG constateren dat het niet eens mogelijk was een aselecte steekproef te trekken op basis van de registratiesystemen van de deelnemende RIAGG's. In het Statistisch Zakboekje 1989 van de NVAGG (1991) wordt melding gemaakt van 505 nuljarigen die in 1990 zouden zijn ingeschreven en van 10210 personen is de leeftijd en/of het geslacht onbekend (totaal aantal inschrijvingen 216798). Bij de tabel (3.9) staat een toelichting waarin vermeld wordt: "bij nuljarigen is waarschijnlijk voor een belangrijk deel sprake van een fout bij de registratie van het geboortejaar." Nu worden er natuurlijk altijd fouten gemaakt bij het vastleggen van gegevens, maar als er bij gemakkelijk en objectief vast te stellen gegevens al dergelijke fouten en omissies optreden, hoe zit het dan bij het vaststellen van veel moeilijkere gegevens, zoals een diagnose of een effect?
De beschouwing van Giel & Bogaarts (1980) over het gebruik van de ICD-classificatie (World Health Organization, 1975) in het Patiëntenregister Intramurale Geestelijke Gezondheidszorg (PIGG) illustreert de onbruikbaarheid van de diagnosegegevens in dit registratiesysteem voor wetenschappelijk onderzoek. Omdat het toekennen van de ICDcode in de PIGG niet rechtstreeks door de behandelaar gedaan wordt, maar door codeurs op grond van wat de behandelaar in het dossier heeft opgeschreven, zou men kunnen veronderstellen dat dit voornamelijk ligt aan de hier gevolgde procedure. Alhoewel dit zeker een factor van belang is, ligt de belangrijkste oorzaak elders.
In dit kader is de publikatie van Kouratovsky (1988) interessant. In RIAGG Centrum West te Rotterdam bestudeerde zij het gebruik van de DSMIII (American Psychiatric Association, 1980). Haar conclusies zijn somber: het classificeren vindt onbetrouwbaar plaats en de diagnose speelt geen rol bij beslissingen in de RIAGG. Zij oppert dat dit te wijten is aan "een verschuiving ... van de aandacht voor symptomatologie naar criteria die geacht worden van belang te zijn op het mogelijke verloop van het therapeutische contact" (p. 101). Helaas concludeert zij dat DSMIII niet zou kunnen functioneren binnen een psychotherapeutische context. Omdat DSM echter het enige beschikbare en omvattende systeem is dat bovendien steeds op basis van wetenschappelijk onderzoek door speciaal geformeerde taakgroepen wordt aangepast en geëvalueerd (zie bijvoorbeeld Task Force on DSM-IV, 1991), had de conclusie natuurlijk moeten luiden dat iedereen zo in het gebruik getraind dient te worden dat het wel betrouwbaar toegepast kan worden. Behandelaars die een dergelijk systeem niet betrouwbaar kunnen toepassen kunnen niet op een open en onderzoekende manier naar de klachten van een cliënt luisteren. Vanzelfsprekend, en dat laat de NIMHstudie ook nog eens duidelijk zien, biedt een classificatie volgens DSM geen onmiddellijke indicatie voor toewijzing aan een bepaalde soort behandeling of een behandelplan. Maar dit is geen alibi om deze fase over te slaan en onmiddellijk met een hoogst ongespecificeerde "therapeutische blik" een cliënt te benaderen.
Vooral het laatste jaar staat "de kwaliteit van de zorg" centraal in verschillende discussies. Dit is op zich verheugend. Immers, iedereen is gebaat bij zorg van goede kwaliteit. Het grootste probleem van het begrip is vanzelfsprekend de definitie van kwaliteit. Kwaliteit kan aan verschillende criteria afgemeten worden. De Geneeskundige Inspectie Geestelijke Volksgezondheid (1990) definieert kwaliteit als: "de mate waarin een systeem aan kwaliteitscriteria voldoet". Een kwaliteitscriterium is: "een geoperationaliseerd aandachtspunt, voorzien van een meetvoorschrift". Dit is een analytische definitie zonder inhoudelijke bepaling van de kwaliteitscriteria. De Minister en de Staatssecretaris (Ministerie van WVC, 1991) vullen het al wat concreter in: " ... van verantwoorde [kwalitatief goede] zorgverlening kan gesproken worden indien de geboden zorg:
De Willem Arntsz Hoeve in Den Dolder heeft een bureau in de arm genomen om 15 "verbeterpunten" te formuleren die de kwaliteit zullen verhogen ( Algra, 1991). Opmerkelijk is dat geen van deze punten de effectiviteit van de behandeling bevat. Er zijn wel enkele punten geformuleerd waarvan verwacht kan worden dat ze de effectiviteit verbeteren, zoals ontwikkeling van behandelprotocollen en vergroting van toegankelijkheid van personeel. Het gevaar van het centraal stellen van een abstract begrip als kwaliteit en kwaliteitszorg is dat de indruk gewekt kan worden dat zorg van hoge kwaliteit ook effectieve zorg is. Anders gezegd: als alle 15 verbeterpunten verbeterd zijn, dan zal men van hoge kwaliteit kunnen spreken, terwijl de effectiviteit van de zorg op eenzelfde, misschien te laag, niveau kan liggen. Als de effectiviteit niet onderzocht wordt, of de uitvoering van de behandeling niet gewaarborgd is door op wetenschappelijke kennis gebaseerde behandelprotocollen, onttrekt het belangrijkste kwaliteitsaspect, namelijk de effectiviteit, zich aan ieders waarneming en leiden de activiteiten die in het kader van de "zorg voor kwaliteit" ontplooid worden ons af van verbeteringen die op een voor de hand liggende wijze bereikt kunnen worden.
Het recept voor verbetering van behandeling in de geestelijke gezondheidszorg is niet zo moeilijk. Het vereist wel discipline en openheid. Discipline om behandelingen systematisch uit te voeren en gegevens vast te leggen over de behandeling en de effecten. Openheid om de gegevens met medebehandelaars te analyseren, te bespreken, te publiceren en conclusies te trekken over de behaalde resultaten. Zoals de NIMHstudie laat zien worden bij cliënten met milde depressie ook met de placeboSZ behandeling goede resultaten bereikt. Behalve door de hoge kwaliteit van deze conditie in de NIMHstudie, komt dit hoogstwaarschijnlijk ook door het feit dat de cliënten aan een onderzoek meedoen. Doordat er gegevens vastgelegd moeten worden, wordt er veel aandacht aan de cliënten geschonken en wordt wat zij zeggen bijzonder serieus genomen. Als iedere behandelaar in de geestelijke gezondheidszorg zich een open onderzoekende empirische attitude zou aanwennen wat betreft de cliënt en zijn problematiek en wat betreft de werkzaamheid van de toegepaste behandeling, dan zouden (a) de resultaten van de behandelingen vanzelf verbeteren, (b) een vruchtbare bodem ontstaan voor het doen van gecontroleerd evaluatieonderzoek, waardoor (c) ook in Nederland aan een wetenschappelijk fundament gewerkt kan worden voor het ontwikkelen van behandelprotocollen waardoor (d) de kwaliteit van de geestelijke geestelijke gezondheidszorg op een controleerbaar en goed niveau kan worden gebracht.
Er wordt nogal eens beredeneerd dat een veel onderzochte en geaccepteerde referentiebehandeling (in dit geval imipramine) voldoende is als vergelijking voor een nieuwe behandeling en dat een placeboconditie niet vereist is. Hoe belangrijk een placeboconditie echter kan zijn, wordt bijvoorbeeld door Leber (1991) nog eens geïllustreerd. In 6 studies waar een nieuw antidepressivum met imipramine werd vergeleken, leek het nieuwe middel even effectief als imipramine wanneer de gegevens van de placeboconditie buiten beschouwing werden gehouden. Mèt de gegevens van de placeboconditie bleek echter slechts in één van de studies een significant verschil tussen deze conditie en de beide medicatiecondities. Return to note in publication
Algra, W. (1991). Kwaliteitskenmerken kosten ggz heel wat hoofdbrekens. Het Ziekenhuis, 21, 794-796.
Broekman, T.G., & Dassen, W.F.M. (1988). De effecten van de behandeling in een herstellingsoord. Cijfers van het Derde Orde Huis te Wijchen. Maandblad Geestelijke Volksgezondheid, 43, 39-47.
Broekman, T.G., & Schaap, C. (1984). Programmaevaluatie in twee instellingen voor psychosociale hulpverlening. In G.M. Schippers, N. Sijben, C. Schaap, & J. Mastboom (Red.), Programmaevaluatie in de Geestelijke Gezondheidszorg (pp.143-154). Lisse: Swets & Zeitlinger.
Editorial Note (1989). Archives of General Psychiatry, 46, 983.
Elkin, I., Shea, M.T., Watkins, J.T., Imber, S.D., Sotsky, S.M., Collins, J.F., Glass, D.R., Pilkonis, P.A., Leber, W.R., Docherty, J.P., Fiester, S.J., & Parloff, M.B. (1989). National Institute of Mental Health Treatment of Depression Collaborative Research Program: General effectiveness of treatments. Archives of General Psychiatry, 46, 971-982.
Fawcett, J., Epstein, P., Fiester, S.J., Elkin, I., & Autry, J.H. (1987). Clinical ManagementImipramine/Placebo Administration Manual: NIMH Treatment of Depression Collaborative Research Program. Psychopharmacology Bulletin, 23, 309-324.
Hoogduin, C.A.L. (1986). De ambulante behandeling van dwangneurose. Deventer: Van Loghum Slaterus.
Kwee, M.G.T. (1984). Klinische multimodale gedragstherapie. Lisse: Swets & Zeitlinger.
NVAGG. (1991). Statistisch Zakboekje NVAGG. RIAGG's in cijfers 1989. Utrecht: Auteur.
Sijben, N. (1986). Omzien naar weldoen. Academisch Proefschrift, Katholieke Universiteit Nijmegen.
Theo Broekman is in 1984 afgestudeerd als klinisch psycholoog. In 1985 heeft hij Bureau Bêta opgericht. Hij werkt ondermeer samen met de Vakgroep Klinische Psychologie en Persoonlijkheidsleer van de Katholieke Universiteit Nijmegen aan onderzoek op het gebied van de psychiatrie en de verslavingszorg. Voor het Instituut voor Patiëntgebonden Psychiatrisch Onderzoek (IPPO) verzorgt hij methodologische adviezen en ontwerpt hij databases voor onderzoekgegevens. Voorts is hij uitgever van wetenschappelijke publikaties op het gebied van de ggz en publiceert hij zelf regelmatig over evaluatieonderzoek in de ggz.
Bureau Bêta is een bureau voor wetenschappelijk onderzoek, informatieverwerking en wetenschappelijke publikaties speciaal gericht op de geestelijke gezondheidszorg