Erfolgsmessung

Stichwort Evaluation

Die Bewertung von Gesundheitsförderungsmaßnahmen ist wichtig, aber beim "Wie?" gibt es noch mehr offene Fragen als Antworten! An welchen Kriterien sich der Erfolg von Maßnahmen feststellen lässt, muss von Fall zu Fall geklärt werden. Feststellen lässt sich aber:

• Eine Beschränkung auf rein quantitative Kriterien (z. B. Verringerung des Krankenstandes) greift sicher zu kurz!
• Vorstellbar und sinnvoll ist ein breites Spektrum von Kriterien, z. B.:
• Erfassung von gesundheitlichen Beschwerden der Beschäftigten, aber auch ihres subjektiven Wohlbefindens,
• Bewertung der Fluktuationsrate der Belegschaft, aber auch des Ausmaßes von Reklamationen und Beschwerden nach außen,
• Feststellung der Zahl der erarbeiteten Verbesserungsvorschläge, aber auch der pfleglicheren Behandlung von Maschinen usw.
• Eine Messung der Ergebnisse muss schrittweise erfolgen: Das größte Problem effektiver Gesundheitsförderungsprogramme ist das Schnelle-Ergebnisse-Syndrom, d. h. dass sowohl Verantwortliche als auch Beschäf­tigte dazu neigen, innerhalb kürzester Zeit einschneidende Ergebnisse zu erwarten. Es ist aber bei solchen Vorhaben unrealistisch zu erwarten, dass:
• bedeutende gesundheitsgefährdende Bedingungen innerhalb weniger Jahre grundsätzlich abzubauen sind,
• größere Kostensenkungen innerhalb kurzer Zeit zu erwarten sind,
• es keine Rückfälle in frühere gesundheitsgefährdende Verhaltens­weisen gibt,
• die Produktivität aller Teilnehmer des Programms gesteigert wird,
• hundertprozentige Teilnahme und keine Ausfälle zu erwarten sind.

Was heißt überhaupt Evaluation?

Evaluation ist der systematische Versuch, in einem kontinuierlichen Prozess aus Erfahrungen zu lernen - die Prüfung der Wirksamkeit durch­geführter Maßnahmen, Programme, Projekte. Zwei Arten gibt es: 

Inhaltlich gibt es dabei wiederum drei Ebenen:

1. Prozessevaluation:
   Findet während des Gesundheitsförderungsvorhabens statt; ihre Ergebnisse sollen kontrollieren (z. B. Aufwandmessung, Vergleich von Zwischen­ergebnissen mit Zielvorgaben) und die Weiterführung des Projektes steuern: projektbegleitende Evaluation als Entscheidungsgrundlage für die Veränderung oder Beibehaltung von Projektabläufen.
2. Ergebnisevaluation:
   Gibt Auskunft über die Wirksamkeit einer Maßnahme und berücksichtigt das Ausmaß der Erreichung eines Maßnahmenziels (Auswertung von Zwischenbilanzen und Ergebnissen): zumindest teilweise sollte ein Konzept gewählt werden, das nicht nur auf Fremdevaluation, sondern auch auf der Partizipation der Projektakteure beruht (z. B. Selbstevaluation).
3. Strukturevaluation:
   Beurteilt Ergebnisse und Erkenntnisse über den Einfluss spezifischer Organisationsstrukturen und Implementationsstrategien.

Es gibt nur wenige quantitative Evaluationen in der Gesundheitsförderung:

• Eine an wissenschaftlichen Standards orientierte Wirksamkeitsmessung ist kostenintensiv, zeitaufwendig und erfordert methodische Detailkennt­nisse: Die dabei erforderliche Bildung von Kontrollgruppen ist betrieb­lich in der Regel gar nicht vertretbar.
• Der Zeithorizont ist entscheidend: Die Identifizierung von langfristigen, umfassenden Effekten von Gesundheitsförderungsmaßnahmen (z. B. Verhaltens/Einstellungs-änderungen, Senkung spezifi­scher Erkrankungs­raten) ist nur schwer möglich, da ein ganzes Bündel von Einflüssen im Lebensumfeld auf diese Effekte einwirkt. Die Messung nachhaltiger Einflüsse von Maßnahmen ist erst nach langer Zeit möglich, dann hat sich aber im Projektumfeld vielleicht bereits viel verändert (z. B. Fluktuation der Beschäftigten, strukturelle Änderungen im Betrieb).
• Es mangelt oft an den, für eine sorgfältige Evaluation notwendigen Daten: z. B. an Daten, die als Indikatoren für positive "Neben"effekte, wie verbesserte Kommunikation, tauglich sind. Die Erfassung aus ökono­mischer Sicht nicht greifbarer Auswirkungen (z. B. Veränderungen der Arbeitsmoral und Produktivität) ist, wenn überhaupt, nur mit speziellen und nicht quantitativen Methoden, durchführbar. 

Die bloße Betrachtung direkter finanzieller Ersparnisse (z. B. durch gesunkenen Krankenstand) wird immer nur von begrenzter Aussagekraft sein. Die Untersuchungsergebnisse dokumentierter betrieblicher Gesundheitsförderung-programme sind außerdem in der Regel unternehmens- und/oder branchenspezifisch und daher nur schwer übertragbar, wozu auch nationale Unterschiede kommen.

Langfristigkeit und qualitative Natur der Effekte, ihre Einwirkung auf ein breites Spektrum von, auf den ersten Blick nicht miteinander zusammen­hängenden Kostenfaktoren, aber auch die Abschätzung "vermiedener" Kosten erschweren also quantitative Berechnungen. Außerdem sind die zu erwartenden Einspareffekte nicht linear errechenbar, sondern hängen v. a. davon ab, ob vorhandene Gesundheitsförderungsmaßnahmen bereits greifen.

Bei der Beurteilung der Senkung von Krankenstand als Erfolgskriterium scheitern traditionelle Kosten/Nutzen-Verfahren an der Schwierigkeit, einzelne Ursachen oder Ursachenfelder kostenmäßig zu erfassen, aber auch deshalb, weil der Anteil der einzelnen Verursachungsfaktoren am gesamten Krankenstand fast nie bekannt ist. Kosten/Nutzen-Analysen werden daher günstigerweise im Bereich des Arbeits- und Gesund­heitsschutzes weniger als Bilanzierungs-, sondern v. a. als Planungsinstrument verstanden, das dem betrieblichen Controlling angepasst z. B. mit Kosten der ungestörten Arbeitsstunde (= Quotient aus Gesamtkosten des Arbeits- und Gesundheits­schutzsystems sowie der Anzahl der ungestörten Arbeitsstunden) als aussage­fähigem Indikator arbeitet. 

Pragmatische und qualitative Evaluation des Projektes

Trotz all dieser Schwierigkeiten sollten alle Beteiligten (Unternehmen, MitarbeiterInnen, Externe ProjektpartnerInnen,...) an der Evaluation der Gesundheits­förde­rung interessiert sein. Eine umfassende quantitative Bewertung ist wahrscheinlich nur in speziellen Modellprojekten durchführbar. Ein pragmatisches und qualitatives Herangehen ist jedoch möglich.

• Welche Ergebnisse wurden erzielt?z. B.:  Bestimmte als notwendig erkannte Verbesserungen wurden durchgeführt; Maßnahmen wurden gesetzt, die sich bereits (laut Fachliteratur, Bera­tungsorganisationen, usw.) als sinnvoll und wirksam erwiesen haben.
• Wurden präventiv wirkende Prozesse eingeführt?z. B.:   Routinen für ein Feedback an den Betrieb in Bezug auf Gesundheits­gefahren wurden entwickelt und eingeführt.
• Haben wir strukturelle Verbesserungen erreicht?z. B.:   Eine Struktur für die Informationsbeschaffung und -aufarbeitung zum Umgang mit Chemie wurde geschaffen. Die Organisation für Planungen im Gesundheitsbereich (oder auch generell für das Vorschlagswesen) wurde vereinfacht.
• Wurden die Anforderungen an Gesundheitsförderung erfüllt?z. B.: Bezüglich der Grunderfordernis einer ausgewogenen Mischung von Verhältnis- und Verhaltensprävention: Ein Arbeitsprozess wurde gesund­heitsförderlicher gestaltet, neue Arbeitsstühle wurden angeschafft - aber auch Fähigkeiten zur Entspannung und richtigen Haltung erworben.

Dies ist ein Herangehen in der Art "kleiner Wirkungsmessungen" von Gesundheitsförderungsmaßnahmen. Neben quantitativen Indikatoren (z. B. Zahl der Verbesserungsvorschläge, weniger gesundheitsgefährdende Stoffe, Teilnehmerzahl bei Verhaltensprogrammen) können gerade dadurch qualita­tive Kriterien überprüft werden (z. B. Grundprinzipien der Gesundheits­förderung, Akzeptanz von Maßnahmen, Arbeitszufriedenheit, usw.).

Die Erhebung benötigt hier qualitative Methoden, z. B. Interviews, Frage­bögen mit offenen Fragen, Gruppendiskussionen, Beobachtungen und/ oder Expertenbeurteilungen. Dies hat auch den großen Vorteil, dass der Einsatz solcher Instrumente nicht nur der Bewertung von Maßnahmen dient, sondern eigentlich eine Fortführung von Gesundheitsförderung bedeutet, v. a. wenn die Betroffenen selbst, ihre Bedürfnisse und Ansichten in den Prozess der Evaluation einbezogen werden. Denn auch subjektive Parameter (z. B. Zufriedenheit, persönliches Wohlbefinden der Teilnehmer an Maßnahmen) gehören zu den Zielen betrieblicher Gesundheitsförderung:

• Auch "kleine" Wirkungsmessungen liefern darüber Informationen, die wichtige Planungsgrundlagen künftiger Maßnahmen sind.
• Sie können Legitimation und Begründung dafür sein, dass eine Maßnahme weitergeführt, geändert bzw. abgesetzt wird.

Die Erfolgskontrolle ist nicht vorrangig im Sinne einer hierarchischen Kontroll­funktion zu verstehen, sondern zielt vor allem auf die Steuerung des Prozesses und seine Optimierung ab. Grundsätzlich ist eine Evaluation durch Externe günstig, da Weiterentwicklungen vor allem durch Außenstehende weitergetrieben werden können.  Wichtig ist vor allem, dass die Erfolgs­kriterien durch die Steuerungsgruppe bereits zu Beginn eines Gesundheitsförderungs­projektes ausgewählt und zu Zielvorgaben der Gesundheitsförderung ernannt werden! Während der Durchführung von Gesundheitsförderungsprojekte treten immer wieder Veränderungen der ursprünglichen Vorstellungen auf: Daher müssen die Erfolgskriterien von Zeit zu Zeit darauf geprüft werden, ob sie nach wie vor relevant sind, bzw. ob nicht zusätzliche taugliche Kriterien berücksichtigt werden müssen. Gerade der Gesundheitsbericht wäre bei entsprechender Gestaltung und regelmäßiger Herausgabe ein sehr gut geeignetes Instrument, qualitative Kriterien für Effektivität und Effizienz zu entwickeln, die gleichzeitig einfach realisierbar sind und ein realistisches Bild für die Beurteilung ergeben. 

Beispiele

Eine generelle Erfolgskontrolle kann durch eine zweite Analyse der Gesund­heitssituation im Betrieb (nach ca. einem Jahr Laufzeit oder nach Abschluss des Gesundheitsförderungsprojekts) geschehen. Mit einem Vergleich mit der Ausgangssituation werden die durchgeführten Maßnahmen bewertet.

• Befragung der Mitglieder der Steuerungsgruppe (Reflexion der eigenen Arbeit): über Projektzusammensetzung, persönliche Schlussfolgerungen über das Projekt als soziales System, fachliche und persönliche Konsequenzen aus dem Projekt, usw.
• Eventuell als Ergänzung Befragung von Kursverantwortlichen und anderen Experten zum Projektverlauf, usw.
• Veröffentlichung der Ergebnisse in einem 2. Gesundheitsbericht.

Der Erfolg einzelner Maßnahmen kann in ähnlicher Weise mit einer einfachen Wirkungsmessung bewertet werden. Dabei sind zu Beginn z. B. folgende Fragen zu beantworten:

• Was kann die Maßnahme generell bewirken?
• Welche Ziele müssen erreicht werden, damit die Maßnahme als erfolg­reich gilt?
• Mit welchen Mittel kann der Erfolg kontrolliert werden?

Die einfachste Methode ist ein Kurzfragebogen mit angemessenen Indikatoren zur Messung der Zielerreichung. Diese Indikatoren sind maßnahmenspezi­fisch, der Fragebogen bezieht sich daher auf verschiedene Themenschwer­punkte, Mängel, aber auch auf Akzeptanz und unmittelbaren Erfolg sowie zentrale Punkte wie Zielgruppenerreichung. 

Die Beurteilung des langfristigen Erfolgs kann sich an Fragen orientieren wie:

• Bleiben die während der Kursteilnahme erzielten Erfolge langfristig stabil bzw. verbessern oder verschlechtern sie sich?
• Machen die Teilnehmer nach Kursende von dem Gelernten Gebrauch und setzen sie es selbständig weiter in ihrem Alltag um?
• Was beeinflusst das langfristige Ergebnis günstig bzw. ungünstig?