Evidence-Based (whatever)

Evidence-Based … (whatever)

Basic Principles And Practical Examples June 26, 2015 - Rotterdam

Postgraduate Course

Postgraduate Course

Postgraduate Course

Mijn missie voor vandaag

Na deze 45 minuten maakt u zich ernstig zorgen over de wijze waarop u (of uw ziekenhuis) gewoonlijk management beslissingen neemt, en neemt u zich voor om de ‘evidence-base’ van uw beslissingen (of die van uw ziekenhuis) in het komende jaar met minstens 10% te verhogen

Agenda

15 min EBMgt: Wat is het en waarom hebben we het nodig? 15 min Professionele ervaring (en ‘judgment’) 10 min ASK: kritische vragen stellen 2 min Meten is weten?

Evidence based Management: What is it?

www.sendsteps.com

We gaan stemmen Internet

1 2

SMS

De tekst op deze dia legt aan uw publiek uit hoe te stemmen. Deze 1 komt tevoorschijn zodra u een sessie heeft gestart. tekst 2 tekst en het uiterlijk van deze dia (font, grootte, kleur, etc.) Let op: de kunnen niet aangepast worden.

Twitter

1 2

Stemmen is anoniem

Vraag 1 Evidence based Management: Wat is het? A. B. C. D.

Nooit van gehoord Wel eens van gehoord, maar geen idee wat het is Van gehoord, weet wat het is Weet wat het is, en kan het uitleggen De vraag gaat open zodra u een sessie en diavoorstelling start.

Stemmen: 0 Internet SMS Twitter

Tijd: 15s

Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

Vraag 1 Evidence based Management: Wat is het? A.

Nooit van gehoord

0,0%

Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn.

B.

Wel eens van gehoord, maar geen idee wat het is

0,0%

Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur)

C.

Van gehoord, weet wat het is

0,0%

D.

Weet wat het is, en kan het uitleggen

0,0% Tijd: 15s

Internet SMS Twitter


Evidence-based management Central Premise: Decisions should be based on a combination of critical thinking and the ‘best available evidence‘.

Evidence? outcome of scientific research, organizational facts & figures, benchmarking, best practices, personal experience

All managers base their decisions on ‘evidence’

But…many managers pay little or no attention to the quality of the evidence they base their decisions on and use too few sources of evidence

Trust me, 20 years of management experience

Evidence based decision Scientific research outcomes

problem

Organizational data, facts and figures

Professional experience and judgment Ask Acquire Appraise Apply Assess

solution

Stakeholders’ values and concerns

Evidence based management: Where does it come from?

Medicine: Founding fathers

David Sackett

Gordon Guyatt

McMaster University Medical School, Canada

How it all started

5 steps of EBmed 1. Ask: translate a practical issue into an answerable question 2. Acquire: systematically search for and retrieve the evidence 3. Appraise: critically judge the trustworthiness of the evidence 4. Apply: incorporate the evidence into the decision-making process 5. Assess: evaluate the outcome of the decision taken

Evidence-Based Practice


“Where the evidence is strong, we should act on it. Where the evidence is suggestive, we should consider it. Where the evidence is weak, we should build the knowledge to support better decisions in the future.” Jeffrey Zients, acting director of the Office of Management and Budget and President Obama’s Economic Advisor


Evidence-Based … (whatever) = the use of critically appraised evidence from multiple sources to increase the likelihood of a favourable outcome

Evidence-Based Management Why do we need it?

Vraag 2 Incompetent people benefit more from feedback than highly competent people A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet De vraag gaat open zodra u een sessie en diavoorstelling start.


Tijd: 15s


Vraag 2 Incompetent people benefit more from feedback than highly competent people A. Waarschijnlijk

0,0%

B. Onwaarschijnlijk

0,0%

C. Weet ik niet

0,0%

Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur)

Tijd: 15s Internet SMS Twitter


Vraag 3 Task conflict improves workgroup performance while relational conflict harms it A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet

De vraag gaat open zodra u een sessie en diavoorstelling start.


Tijd: 15s


Vraag 3 Task conflict improves workgroup performance while relational conflict harms it A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet

Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. 33,3% Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur)

66,7%

100,0% Tijd: 15s



Vraag 4 Encouraging employees to participate in decision making is more effective for improving organization performance than setting performance goals A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet



Tijd: 15s


Vraag 4 Encouraging employees to participate in decision making is more effective for improving organization performance than setting performance goals A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet


66,7%

100,0% Tijd: 15s



The 3 hardest words in management

I Don’t Know (but I know how to find out)

How evidence-based are we?

959 (US) + 626 (Dutch) HR professionals 35 statements, based on an extensive body of evidence likely / unlikely / uncertain

HR Professionals' beliefs about effective human resource practices: correspondence between research and practice, (Rynes et al, 2002, Sanders et al 2008)

Outcome: not better than random chance

Evidence-based management Scientific research outcomes

Professional experience and judgment Ask Acquire Appraise Aggregate Apply Assess



10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 56 57 58 59 60 0 1 2 3 4 5 6 7 8 9 Discuss with your neighbor Why is a physician’s clinical experience, as a rule, more trustworthy than a manager’s professional experience?

Developing expertise 1. A sufficiently regular, predictable environment 2. Opportunities to learn regularities through prolonged practice and feedback

The management domain is not highly favorable to expertise!

Bounded rationality

Bounded rationality / prospect theory System 1 Fast Intuitive, associative heuristics & biases

System 2 Slow (lazy) Deliberate, Reasoning Rational

System 1: short cuts

System 1: short cuts

Shepard’s tables

System 1: dominant, cause necessary to survive

95%

System 1: cognitive errors Seeing order in randomness Overconfidence bias Halo effect False consensus effect Group think Self serving attribution bias Sunk cost fallacy Cognitive dissonance reduction

Confirmation bias Authority bias Small numbers fallacy In-group bias Recall bias Anchoring bias Availability bias

System 1: cognitive errors Seeing order in randomness Overconfidence bias Halo effect False consensus effect Group think Self serving attribution bias Sunk cost fallacy Cognitive dissonance reduction

Confirmation bias Authority bias Small numbers fallacy In-group bias Recall bias Anchoring bias Availability bias

Error 1: pattern recognition

We are predisposed to see pattern and causal relations in the world. Patternicity: The tendency to find meaningful patterns in both meaningful and meaningless noise.

Error: pattern recognition We are pattern seeking primates: association learning

Points of impact of V-1 bombs in London

Points of impact of V-1 bombs in London

Error 1: pattern recognition Erroneous beliefs plaque both experienced professionals and less informed laypeople alike.

stress & lifestyle

peptic ulcer

Oct 2005

Peptic ulcer – an infectious disease! This year's Nobel Prize in Physiology or Medicine goes to Barry Marshall and Robin Warren, who with tenacity and a prepared mind challenged prevailing dogmas. By using technologies generally available (fibre endoscopy, silver staining of histological sections and culture techniques for microaerophilic bacteria), they made an irrefutable case that the bacterium Helicobacter pylori is causing disease. By culturing the bacteria they made them amenable to scientific study. In 1982, when this bacterium was discovered by Marshall and Warren, stress and lifestyle were considered the major causes of peptic ulcer disease. It is now firmly established that Helicobacter pylori causes more then 90% of duodenal ulcers. The link between Helicobacter pylori infection and peptic ulcer disease has been established through studies of human volunteers, antibiotic treatment studies and epidemiological studies.


A Type I error or a false positive, is believing a pattern is real when it is not (finding a non existent pattern) A Type II error or a false negative, is not believing a pattern is real when it is (not recognizing a real pattern) Dr. Michael Shermer (Director of the Skeptics Society)


A Type I error or a false positive: believe that the rustle in the grass is a dangerous predator when it is just the wind (low cost)


A Type II error or a false negative: believe that the rustle in the grass is just the wind when it is a dangerous predator (high cost)


A Type I error or a false positive: believe that the rustle in the grass is a dangerous predator when it is just the wind (low cost)

A Type II error or a false negative: believe that the rustle in the grass is just the wind when it is a dangerous predator (high cost)

Error 1: pattern recognition superstitious rituals

more stress = more prone to type 1 errors

superstitious rituals


Bounded rationality

“I’ve been studying judgment for 45 years, and I’m no better than when I started. I make extreme predictions. I’m overconfident. I fall for every one of the biases.”

So why don’t managers like EBMgt?

Why don’t managers like EBMgt? Undermines formal authority Speed valued and rewarded more than accuracy Feel they cannot use their own experience and judgment (not true) Managers not necessarily rewarded for doing what works (organizations rarely evaluate) THEY LOVE FADS & QUICK FIXES

Fads & quick fixes

Huge (peer) pressure to adopt fads & quick fixes

75

How are fads a problem? “The main problem…is their lack of any solid intellectual foundation. Implicit in each fad is a cause effect statement that is rarely made explicit and never properly supported.”

(Donaldson & Hilmer, 1998)

77

80

James McNerney

George Buckley

Evidence-based management: Asking


problem



solution


Uw oplossing? Lean Management / Lean Six Sigma / TOC Self steering / autonomous teams Agile working Value based management / healthcare Talent management Het Nieuwe Werken


problem



solution


Step 1: What is the problem? What is the problem? Why is this a problem: what are its organizational consequences? How big: what is its impact on the organization when nothing is done? Why does this problem exist, what is the assumed major cause? What is the assumed causal mechanism? How does the cause lead to the problem and its consequences?

The problem Our hospital

“Door to needle time”, 48 UK hospitals in Westmidland

Discuss with your neighbour possible causes for these differences

10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 56 57 58 59 60 0 1 2 3 4 5 6 7 8 9

Step 2 - What is the evidence for this problem (and its assumed cause)? - Where multiple sources consulted? - How trustworthy is the evidence?

ASK: multiple sources Scientific research outcomes

problem



solution


Trust me, 20 years of management experience

“Without clinical expertise, practice risks becoming tyrannized by evidence, for even excellent external evidence may be inapplicable to or inappropriate for an individual patient.”


problem



solution


Step 2: What is the org evidence? Are there organizational data available relevant to this problem? Do the organizational data confirm there is a problem? How does the magnitude of the problem compare to the average in the sector? Is there a trend? What do the data suggest will happen when nothing is done? Do the data confirm the assumed causal mechanism: is there a correlation?

Types organizational evidence 1. financial data (cash flow, solvability) 2. business outcomes (ROI, market share) 3. clinical outcomes (HSMR, length of stay, readmissions) 4. patient impact (patient satisfaction) 5. performance indicators (occupancy rate, failure frequency) 6. HR metrics (absenteeism, employee engagement) 7. ‘soft’ data (organizational culture, trust in senior management, leadership style, commitment) 8. data from benchmarking

Organizational facts and figures

descriptive > predictive productivity level of education (MBA) years of health care experience

patient satisfaction

+

clinical outcomes medical errors employee satisfaction absenteeism


problem



solution


Vraag 5 Het jaarlijkse MTO wijst uit dat de satisfactie van de medewerkers is gedaald van een 7.5 naar een 6.3. Dit is een probleem, want een tevreden medewerker is een productieve medewerker (daarom MTO)

A. Mee eens B. Niet mee eens C. Weet ik niet



Tijd: 15s


Vraag 5 Het jaarlijkse MTO wijst uit dat de satisfactie van de medewerkers is gedaald van een 7.5 naar een 6.3. Dit is een probleem, want een tevreden medewerker is een productieve medewerker (daarom MTO) A.

Mee eens

B.

Niet mee eens

C.

Weet ik niet


66,7%

100,0% Tijd: 15s



ASK > boze managers en bestuurders

Is dat zo? Hoe weet u dat?

Meten is weten

(Maar niet alles wat u meet is relevant of betrouwbaar)

Vraag 6 A data set, randomly pulled from the management information system, will be accurate and can be trusted. A. Mee eens B. Niet mee eens C. Weet ik niet



Tijd: 15s


Vraag 6 A data set, randomly pulled from the management information system, will be accurate and can be trusted. A.

Mee eens

B.

Niet mee eens

C.

Weet ik niet

Deze voorbeeld resultaten zullen op 0 gezet worden 33,3% zodra een sessie en diavoorstelling gestart zijn. Voel u vrij om ondertussen de layout van de resultaten te veranderen 66,7% (bv. de kleur)

100,0% Tijd: 15s



Is de oplossing effectief? Scientific research outcomes

problem



solution


Heeft de oplossing gewerkt?

Problem

Problem Solution

Evidence

Evidence

(baseline)

(outcome)

No, there are no data available relevant to the problem. No, we seldom assess the outcome of our projects.

But trust me, I have 20 years of management experience

Mijn missie voor vandaag

Na deze 45 minuten maakt u zich ernstig zorgen over de wijze waarop u (of uw ziekenhuis) gewoonlijk management beslissingen neemt, en neemt u zich voor om de ‘evidence-base’ van uw management beslissingen (of die van uw ziekenhuis) in het komende jaar met minstens 10% te verhogen

In de komende weken, voordat een management beslissing wordt genomen, VRAAG (jezelf eens af) Wat is nu precies het probleem? Wat is de beschikbare evidence? Is deze evidence kritisch beoordeeld op betrouwbaarheid, validiteit, toepasbaarheid?

Dank & succes!

Evidence-Based (whatever)

Recommend Documents