Zin en onzin van wetenschappelijke taal in onderzoek

tekst Floor Basten fotografie Ton van Til

Dermatologisch getest!

Zin en onzin van wetenschappelijke taal in onderzoek Adviesbureaus bieden hun onderzoeksrapporten via eigen kanalen en via de media aan. Veel van die rapporten zijn daarom terug te vinden in de Online Bibliotheek van www.managementenconsulting.nl. Maar wat staat er eigenlijk in? En bovenal: waar baseren de auteurs hun uitspraken op? Zes ervaren onderzoekers (Floor Basten, Jaap Germans, Steven ten Have, Lieke Hoogerwerf, Dick Ruimschotel en Coert Visser) buigen zich over vier rapporten om de wetenschappelijke pretenties op hun merites te beoordelen. Niet één doorstaat de test.

10

Management en Consulting nr. 4. 2005

Adviesbureaus versturen regelmatig persberichten waarin

licht te bespreken. Publicaties die een mogelijke weerlegging

zij nieuw onderzoek aankondigen. Veel van deze onder-

ontkennen en zonder enig voorbehoud resultaten weerge-

zoeksrapporten plaatst Management en Consulting met toe-

ven, zijn in de regel niet wetenschappelijk.

stemming van de onderzoekers in de Online Bibliotheek. Het is een omvangrijke verzameling geworden die een kijkje in

(Dat wetenschap een gesprek is, is een premisse die aan deze exercitie ten grondslag ligt.)

de keuken van bureaus geeft. Nieuwsgierig geworden naar de kwaliteit van deze onderzoeken heeft de redactie zes ervaren

Niet op afstuderen

onderzoekers gevraagd de deugdelijkheid ervan te verken-

Het onderzoek van Booz Allen Hamilton ‘Profiles in

nen. Het team is dusdanig samengesteld, dat een brede varia-

Organizational DNA. Research and Remedies’ is een

tie in methodologische kennis vertegenwoordigd is.

beschrijving van de resultaten van online onderzoek.

De rapporten zijn vrij willekeurig uit het aanbod op de

Deelnemers kunnen het DNA van hun organisatie bepalen

website geselecteerd. De enige voorwaarde was de afwezig-

aan de hand van een self-assessment. Er zijn volgens dit

heid van een externe opdrachtgever. De vier rapporten dus

rapport analoog aan DNA vier bouwstenen die het functio-

gaan over onderzoeken die door de adviesbureaus zelf zijn

neren van organisaties bepalen: informatie, besluitvorming,

geïnitieerd.

motivatie en structuur. Op basis hiervan zijn zeven profie-

Gezien de pretenties die de rapporten hebben, willen we

len mogelijk, waarvan er drie verwijzen naar gezond en vier

het wetenschappelijk perspectief als richtlijn nemen. We

naar ongezond functioneren. Op basis van 4007 verzamelde

hebben vooraf alle rapporten geanalyseerd op:

assessments concluderen de auteurs dat het merendeel van

1. de relatie tussen vorm en inhoud;

alle organisaties ongezond is.

2. relevantie van het onderwerp;

Waar stoelt deze conclusie op? Het valt ons op dat de cij-

3. betrouwbaarheid en validiteit;

fers in de grafieken niet kloppen en het is onduidelijk welke

4. het verband tussen data en conclusies, en

betekenis we moeten hechten aan verschillen tussen per-

5. de afbakening en definities.

centages. Dit kan door afrondingsverschillen komen maar dan is het onduidelijk welke betekenis kleine verschillen

Wetenschap is een gesprek over waarheid. Een belangrijk

tussen percentages hebben. Het onderzoek is echter niet

kenmerk van wetenschappelijke publicaties is daarom dat

herhaalbaar, want de software waarmee de gegevens geana-

deze transparant zijn. Zonder transparantie kan het gesprek

lyseerd worden is niet beschikbaar voor herhalingsonder-

niet goed gevoerd worden, want de mogelijkheid om de

zoek. Ook de verwijzing naar de ervaring van de auteurs

bevindingen kritisch op hun waarde (waarheidsclaim) te

maakt herhaling onmogelijk. Er is geen discussie van de

beoordelen ontbreekt. Bij transparantie hoort dat de onder-

resultaten, geen enkel voorbehoud en nul relativering.

zoeksopzet besproken en verantwoord wordt, want daarmee

De vraag wie om welke redenen de vragenlijst invult

laten de onderzoekers zien hoe ze de data verwerkt hebben

(dus de vraag naar mogelijke selectiviteit), wordt niet

tot een antwoord op hun onderzoeksvraag. Collega’s moeten

gesteld, maar de conclusies worden desondanks voor alle

in staat zijn op grond van diezelfde data tot hetzelfde ant-

organisaties getrokken. Mensen die op de website terechtko-

woord te komen. Dit principe, herhaalbaarheid, heeft als

men, worden met de vraag of ze willen weten waarom orga-

consequentie dat alle waarnemingen en de manier waarop

nisaties slecht functioneren uitgenodigd hun eigen organisa-

die gedaan zijn beschreven zijn en dat definities nauwkeu-

tie te diagnosticeren. Daar zit al een behoorlijke selectie van

rig beschreven en afgebakend zijn. Alleen dan kunnen colle-

respondenten in. We vragen ons daarom af hoe betrouwbaar

ga’s beoordelen of voldaan is aan het validiteitcriterium: de

de conclusies zijn.

vraag of gemeten is wat de onderzoekers wilden meten. Met

Verder zijn ‘bouwstenen’ contra-intuïtief en niet geba-

betrouwbaarheid wordt bedoeld dat wanneer het onderzoek

seerd op literatuur, bijvoorbeeld over contingentie (gedrag

herhaald wordt, er min of meer dezelfde gegevens uitkomen

variërend per situatie, afdeling of tijdstip). De profielen zijn

(de mate van toeval). In publicaties zien we dit terug in een

classificaties zonder spreiding. We vragen ons af of glijden-

beschrijving van bronnen (literatuur, respondenten).

de schalen of dimensies niet beter de gezondheid een orga-

Popularisering van wetenschappelijk onderzoek komt in

nisatie weergeven. Maar we vragen ons wel meer af: wat is

veel tijdschriften voor. Vaak wordt een ingewikkeld weten-

de relatie tussen de bouwstenen en de profielen en waar

schappelijk verhaal uitgelegd in alledaagse taal. In die geval-

zijn de aanbevelingen op gebaseerd?

len wordt verwezen naar de bron, de plek waar het ingewik-

De bevindingen in dit rapport zijn desondanks niet weer-

kelde verhaal te vinden is. Daar waar zonder bronvermel-

legbaar, omdat er een cirkelredenering in het onderzoek zit.

ding gemeld wordt dat ‘onderzoek uitwijst dat…’, wordt het

De auteurs definiëren de bouwstenen en de profielen, classi-

verdacht. Even suspect zijn tendentieuze en suggestieve uit-

ficeren vervolgens de antwoorden op de self-assessments in

spraken die de betekenis van de resultaten pogen te veran-

die profielen en bepalen wat gezond is en wat niet. Ze beves-

deren. In principe moet elke waarheidsclaim weerlegd kun-

tigen als het ware hun eigen model zonder andere gegevens

nen worden. Het is immers een claim en geen geloof. De dis-

of verklaringen toe te laten: bronnen buiten Booz Allen

cussiesectie is de plek om de onderzoeksresultaten in dat

Hamilton schitteren in afwezigheid. Deze zelfbevestiging


11

zien we terug in dramatisch taalgebruik als ‘Anyone who has

kunnen zonder dit bureau worden doorgevoerd en dat is op

worked in an organization of any size…’ Het is ondoenlijk

zich positief)? Met een meer kritische studie zou het bureau

om aan de ongezonde predeterminatie te ontkomen, want

meer bereiken. We weten immers niets van de respondenten

het DNA van organisaties bestemt ons inherent voor tot ver-

en we kunnen dus ook niet beoordelen of dit een evaluatieve

keerd gedrag. De metafoor van het organisationeel DNA blijkt

studie onder de eigen klanten is. Aan de andere kant kan een

niet houdbaar, want dankzij biotechnologie kunnen organi-

kritische studie juist de eigen kracht laten zien en de positie

saties wél ontsnappen aan fatalistische horizonten. En kijk

versterken. Het bevreemdt ons ook dat deze experts opeens

nou: Booz Allen Hamilton heeft de kwalificaties in huis om

aan de leek gaan vragen hoe ze hun projecten managen, zon-

aan DNA te sleutelen en organisaties te genezen! Onze con-

der hiermee verder iets te doen. Kortom: dit rapport laat ons

clusie over dit onderzoek: hier kun je niet mee afstuderen.

gepuzzeld achter. Ons oordeel: vlees noch vis.

Vlees noch vis

Reclamefolder

Dan naar het onderzoeksrapport van Twynstra Gudde,

Het KPMG-rapport ‘Strategic Management of Intellectual

‘Nationaal Projectmanagement Onderzoek ® … voor bedrij-

Property: Enhancing Organisational Success by Unlocking

ven’. Dit rapport geeft de resultaten van een enquête over

the Values of Ideas’ stemt ons niet vrolijker. Hier wordt het

projectmanagement weer. We kunnen echter niet ontdekken

belang van het managen van intellectueel kapitaal onder-

wat er precies onderzocht is. Het lijkt te gaan over de effec-

streept door zes mensen die telefonisch zijn geïnterviewd.

tiviteit van projectmanagement, maar het onderzoek gaat

Geen van hen spreekt het belang tegen en we kunnen stel-

over de meningen van mensen die met projectmanagement

len dat we hier letterlijk met een selectief gezelschap te

te maken hebben. Daarbij zijn de definities die van belang

maken hebben. Dat tast de betrouwbaarheid van de resulta-

zijn voor de resultaten vaag en slordig: elke verandering

ten aan. Verder wordt een tabel gegeven met daarin drie

wordt gezien als een uiting van projectmanagement, terwijl

ranglijsten van patenthoudende bedrijven, maar de toege-

veel veranderingen ook totstandkomen via daartoe meer

voegde waarde van deze tabel ontgaat ons. De opmerking in

geëigende instrumenten.

de lopende tekst dat sommige bedrijven wel duizend paten-

Het onderzoek beperkt zich tot de steekproef, die verder

ten per jaar aanvragen lijkt ons, gezien de kosten die daar-

geen relatie lijkt te hebben met de populatie waaruit hij

mee gemoeid zijn en het aantal gehonoreerde aanvragen

afkomstig is. We moeten zelf de vragenlijst reconstrueren

(216 voor de koploper) enigszins overdreven. Bovendien is

uit de weergave van resultaten. Er worden geen significante

de bronvermelding naar KPMG-workpapers vaag.

resultaten gegeven, slechts interpretaties in termen van

Net als het rapport van Booz Allen Hamilton wordt er

‘substantieel’, ‘aanzienlijk’, ‘redelijk’ en ‘in beperkte mate’,

een sense of urgency gecreëerd (gemiddeld staat op elke

of in termen van ‘meer dan’. Hierdoor is het lastig de resul-

pagina een must, have to, need to, should) die moet leiden

taten te beoordelen op hun waarde: we weten immers niet

tot de aanschaf van een product. We hebben het dus over

wat ‘substantieel’ is en hoe belangrijk ‘meer dan’ is. De

behoeftecreatie: het systeem is de oplossing, het niet heb-

respondenten is gevraagd een top 3 van hefbomen te kiezen

ben van dit systeem is het probleem. Er wordt ingespeeld

uit een lijst; onduidelijk is of de respondenten deze hefbo-

op angst door een probleemscheppend verhaal. Maar

men tegenkomen in hun praktijk of juist niet. Het rapport

ofschoon het rapport hamert op shareholder value, laat het

sluit af met een aantal aanbevelingen.

nergens zien dat portfolio management van intellectueel

We vinden het rapport helder, verzorgd en elegant, hoe-

eigendom door bijvoorbeeld winst uit patenten daadwerke-

wel de auteurs voor het overzicht beter tabellen hadden

lijk harde euro’s oplevert. De validiteit is dus ver te zoeken.

kunnen gebruiken. Dat had hen waarschijnlijk ook gehol-

Ons oordeel: dit is een reclamefolder, vermomd als onder-

pen de cijfers voor de variabelen consistent weer te geven.

zoeksrapport. KPMG bevestigt dat het niet een wetenschap-

Waar komen die variabelen trouwens vandaan? We vinden

pelijk onderzoek is maar een white paper.

geen enkele bronvermelding of andere verwijzing naar een theoretische inbedding. Had er überhaupt iets anders dan

Waarom?

dit uit het onderzoek kunnen komen? Een vergelijkend

Ten slotte het NOVM-rapport ‘Nationaal Onderzoek

onderzoek, bijvoorbeeld tussen projectmanagement en

Verandermanagement (NOVM)’ over verandermanagement

andere methodieken, was spannender en wellicht meer ont-

van Intermaat, een onderdeel van Boer & Croon. De opmer-

hullend geweest. Over de wetenschappelijke ambitie kun-

king ‘puur feitelijk op basis van kundig onderzoek’ in de

nen we het eens zijn: die is laag. Over de vraag of dat prettig

inleiding is een handschoen die wij graag oppakken. Gaat

is, verschillen we van mening. Want als de ambitie zo laag

het om feiten? Is het onderzoek kundig? Na de inleidende

is, waarom dan de pretentie wetenschappelijk te zijn?

start wordt het rapport opgesplitst in twee delen die niets

Waarom niet gewoon een Handboek Soldaat maken, in

met de geschetste maatschappelijke context te maken heb-

plaats van de aanbevelingen cijfermatig te willen optuigen?

ben: het eerste gaat over interventievoorkeuren en het twee-

De vraag is: is dit rapport – gezien de methodologische makke – goede PR voor Twynstra Gudde(alle aanbevelingen

12


de over stimulerende en blokkerende factoren bij verandering.

De onderzoekers Floor Basten, oprichter van onderzoeks-

Lieke Hoogerwerf is mede-initiatiefne-

Coert Visser werkte bij

bureau OrléoN(www.orleon.nl), is onder-

mer van Netwerkimpuls (www.netwerkim-

PricewaterhouseCoopers en is sinds een

zoeker met een sociaal wetenschappelijke

puls.nl). Als adviseur, onderzoeker en

jaar of vijf zelfstandig adviseur. Tot zijn

en taalkundige achtergrond. Haar specia-

docent ondersteunt zij mensen en organi-

belangrijkste werkzaamheden behoren:

liteit is interpretatief onderzoek.

saties bij het ondernemen en organiseren

individuele coaching, assessment, bege-

Voorbeelden van haar werk zijn metaforen

vanuit netwerkprincipes. Voorheen was zij

leiding van (management) teams, begelei-

binnen een academische opleiding

werkzaam als sociotechnisch adviseur,

den van werkconferenties, geven van trai-

bedrijfswetenschappen (proefschrift),

universitair docent bedrijfskunde en leer-

ningen en het adviseren in grote advies-

actief burgerschap, ruimtelijke beleving

manager verandermanagement.

projecten. Hij is ook lid van de hoofdre-

en de taal van sociaal rendement.

dactie van www.managemensite.net.


13

Dit artikel plaatst de redactie voor een dilemma. Wij willen het debat over de kwaliteit van onderzoeksrapporten aangaan. Niet alleen in deze aflevering maar ook in toekomstige artikelen. De rapporten hier besproken, zijn ons opgevallen vanwege de publiciteit die ze genereerden of vanwege een actuele in de belangstelling staande onderzoeksvraag. De bureaus zijn niet blij met het artikel en hadden graag gezien dat we het hadden ingetrokken. Het debat doen we daarmee geen goed. Met publicatie lopen we het risico dat we mensen en bureaus tegen ons in het harnas jagen met alle mogelijke consequenties. Zoals de opbouw van de Online Bibliotheek dat inmiddels een heel fraai onderzoeksarchief biedt. We willen laten zien wat bureaus doen; dat is een taak van het vakblad. Dit artikel is een resultaat van een discussie onder panelleden. Onderzoekers die hun werk serieus nemen in een ‘ons kent ons’ wereldje. Management en Consulting leent zich niet voor kinnesinne onder professionals of bureaunijd noch gaat het ons om uitsluitend een smakelijk verhaal te schrijven. Wel lenen wij ons voor het debat en de redactie nodigt u graag voor deelname uit. Stuurt u uw reactie voor 1 september naar [email protected].

De onderzoekers Dick Ruimschotel is oprichter en direc-

Steven ten Have is organisatieadviseur

Jaap Germans (niet op de foto) werkte

teur van Compliance Methodology

en mede-eigenaar van advieskantoor Ten

25 jaar bij Philips als onder meer kwanti-

Consultants ([email protected]). Het

Have & Company (www.tenhavecompa-

tatief onderzoeker bij Natlab, adviseur en

bureau werkt op het grensvlak van com-

ny.com). Het bureau richt zich op vraag-

hoofd van een intern adviesbureau.

pliance, integriteit en rechtshandhaving.

stukken op het gebied van strategie, ver-

Vervolgens was hij ruim tien jaar zelfstan-

Ruimschotel is jurist en sociaal weten-

andering en besturing. Verder is Ten Have

dig organisatieadviseur en tevens ‘school-

schapper (methodoloog) met

hoogleraar aan de VU Amsterdam, leer-

hoofd’ bij de TIAS voor de

interesse in klassieke onderwerpen als

stoel Strategie en Verandering.

Mastersopleiding Management van Leren

causaliteit en modellen.

en Ontwikkeling. Germans studeerde wiskunde en is bij een sociaal psycholoog gepromoveerd.

Waar baseren de auteurs hun uitspraken op? 14


Het deel van de interventievoorkeuren is eigenlijk geen

wordt wél een beetje kwalijk als het verkoopargument

onderzoeksrapport, want er wordt een vernieuwing van een

gestoeld is op wetenschappelijk onderzoek dat niet deugt.

bestaand instrument gepresenteerd. Bij die presentatie wor-

Waarom eigenlijk?

den resultaten vermeld van een online onderzoek naar inter-

Is er sprake van devaluatie van onderzoek wanneer

ventievoorkeuren, terwijl de instructies bij de vragenlijst in

adviesbureaus rapporten publiceren met wetenschappelijke

de bijlage gaan over feitelijk gedrag. Het is dus onduidelijk

claims die ze niet waar kunnen maken? Zijn die rapporten

wat gemeten wordt.

niet veelal een gespreksonderwerp bij de koffiemachine of op

De ‘kleurentheorie’ (volgens ons is dit helemaal geen

de borrel, waarna weer wordt overgegaan tot de orde van de

theorie maar een classificatievoorstel met vage verwijzing

dag? Misschien maken ze iets wakker in mensen dat toch al

naar arbitraire kleuren) wordt nergens onderbouwd. Is het

aandacht wilde, zijn ze niet meer dan een ontstekingsmecha-

model uitputtend? Valide? Betrouwbaar? Zijn de categorieën

nisme. In elk geval, zo menen we, zijn het pogingen om

consistent? We tasten volledig in het duister, maar de eigen-

gesprekken te bepalen, gesprekken waar soms managers maar

schappen van de onderzoekers doen er ook niet zo toe. Hun

al te graag aan meedoen. Anders wordt het, wanneer hoogle-

kundigheid wel. De vragenlijst telt 17 stellingen waar telkens

raren er hun signatuur aan verlenen en de rapporten een

8 punten over verdeeld kunnen worden. Per categorie (5 in

navenante status geven. In dit kader is het zinvol om een

totaal) kan dus gemiddeld 27 punten worden gescoord.

drietal gesprekken te onderscheiden, elk met een eigen

Blijkbaar is dit gemiddelde plus of min 2 ‘normaal’, eindigt

thema. Het wetenschappelijke gesprek gaat over waarheids-

de categorie ‘laag’ bij 24 en start de categorie ‘hoog’ bij 30.

claims en wordt dus gestructureerd door de in dit artikel

Een nogal gevoelig instrument, maar slordig toegepast:

genoemde criteria. Het adviesgesprek gaat over veranderin-

niet alle stellingen zijn opgeteld 17 x 8 = 136. De willekeur in

gen en verloopt langs de lijnen van diagnose en interventie.

kleuren maakt niet uit. Waar het om gaat, is dat de catego-

Het managementgesprek gaat over de praktijk en thematiseert

rieën een overzicht geven van de geschiedenis van het advies-

hoe de veranderingen gewerkt hebben. Deze gesprekken kun-

vak tot een bepaald tijdstip en dat deze categorieën de natio-

nen in één en hetzelfde rapport best samenkomen, maar dan

nale standaard lijken te worden voor het heden en daarna.

is het onze aanbeveling om ze helder af te bakenen. Dus nee,

Het tweede deel van het NOVM-rapport lijkt geen ver-

liever geen wetenschappelijke termen in een adviesgesprek

band te hebben met het eerste. Hier wordt wel een onder-

alleen om te camoufleren dat het om een adviesgesprek gaat,

scheid gemaakt tussen ‘nu’ en ‘wenselijk’. Een weergave in

net zo min als er adviestermen in een wetenschapsgesprek

tabellen in plaats van een herhaling van de variabelen zou

mogen voorkomen zonder de onderbouwde herkomst daar-

fijn zijn geweest. Wat ons opvalt, is dat er schijnbaar zeer

van.

simpele oplossingen zijn voor vastzittende situaties. De auteur vraagt zich bijna wanhopig af waarom men maar niet

Tips

in staat is tot de meest basale ingrepen. Misschien legt de

Enkele tips voor adviesbureaus die voornemens zijn rappor-

diagnose niet de ‘echte’ blokkerende en stimulerende facto-

ten op basis van eigen onderzoek te publiceren. Wie meent

ren bloot? De vraag is – en dat geldt voor de kleurentest net

een wetenschappelijk verantwoord rapport te kunnen schrij-

zo – wie deze vragenlijsten invult en waarom; is hier sprake

ven en tevens vermoedt dit zo te kunnen dat managers het

van een ontladende catharsis of gaat het om geïdentificeerde

een spannend verhaal vinden om te lezen, moet dit vooral

groepen? Is het verstandig om de schijn te wekken dat het

doen. Wie bevroedt dat de lezer afhaakt in een al te taaie brei

onderzoek onder academische vlag is uitgevoerd omdat beide

van wetenschappelijke parafernalia, of wie verwacht dat het

hoogleraren vanuit de universiteit opereren, maar tegelijker-

lezerspubliek niet gecharmeerd is van enig voorbehoud van

tijd hun werkterrein voor het grootste deel in de adviesprak-

bureauzijde, kan twee rapporten produceren. In de marke-

tijk hebben? Dit soort achtergrondinformatie zou niet rele-

tingversie staat dan een samenvatting van de opzet en de

vant moeten zijn, maar sommigen van ons vinden het buiten-

resultaten én een verwijzing naar het tweede rapport. Dit

gewoon vervelend dat deze kwaliteit zich vertoont onder aca-

tweede rapport is dan het volgens de wetenschappelijke cri-

demische vlag. Ons algehele oordeel over dit onderzoek:

teria opgezette onderzoeksrapport, waarin de methode

waarom?

inzichtelijk is en de resultaten besproken worden in een discussiesectie. Wie twijfelt aan de eigen wetenschappelijke

Dermatologisch getest

kwaliteiten hoeft zich nergens voor te schamen – onderzoek

In de reclamewereld is het voor sommige producten gebrui-

is namelijk ook een vak – en kan zich beperken tot één docu-

kelijk om met een zweem van wetenschappelijkheid de

ment, dat dan productbrochure heet en bij voorkeur door

geloofwaardigheid van het product te onderstrepen. Een

iemand anders is geschreven.

kreet als ‘dermatologisch getest’ moet de kwaliteit garanderen

Is deze selectie van rapporten representatief voor alle rap-

en de kritische consument over de streep trekken. Het ziet

porten die door bureaus worden opgesteld? Voldoet dit arti-

ernaar uit dat deze marketingtruc de managementwereld bin-

kel aan de criteria die erin besproken zijn? We hopen u vol-

nensluipt. Natuurlijk, adviesbureaus willen hun tijd en pro-

doende richtlijnen geboden te hebben om dat zelf te beoorde-

ducten verkopen, en daar is helemaal niets mis mee. Het

len.


15

Zin en onzin van wetenschappelijke taal in onderzoek

Recommend Documents