Stichwort Evaluation
Die Bewertung von Gesundheitsförderungsmaßnahmen ist wichtig, aber beim "Wie?" gibt es noch mehr offene Fragen als Antworten! An welchen Kriterien sich der Erfolg von Maßnahmen feststellen lässt, muss von Fall zu Fall geklärt werden. Feststellen lässt sich aber:
- Eine Beschränkung auf rein quantitative Kriterien (z. B. Verringerung des Krankenstandes) greift sicher zu kurz!
- Vorstellbar und sinnvoll ist ein breites Spektrum von Kriterien, z. B.:
- Erfassung von gesundheitlichen Beschwerden der Beschäftigten, aber auch ihres subjektiven Wohlbefindens,
- Bewertung der Fluktuationsrate der Belegschaft, aber auch des Ausmaßes von Reklamationen und Beschwerden nach außen,
- Feststellung der Zahl der erarbeiteten Verbesserungsvorschläge, aber auch der pfleglicheren Behandlung von Maschinen usw.
- Eine Messung der Ergebnisse muss schrittweise erfolgen: Das größte Problem effektiver Gesundheitsförderungsprogramme ist das Schnelle-Ergebnisse-Syndrom, d. h. dass sowohl Verantwortliche als auch Beschäftigte dazu neigen, innerhalb kürzester Zeit einschneidende Ergebnisse zu erwarten. Es ist aber bei solchen Vorhaben unrealistisch zu erwarten, dass:
- bedeutende gesundheitsgefährdende Bedingungen innerhalb weniger Jahre grundsätzlich abzubauen sind,
- größere Kostensenkungen innerhalb kurzer Zeit zu erwarten sind,
- es keine Rückfälle in frühere gesundheitsgefährdende Verhaltensweisen gibt,
- die Produktivität aller Teilnehmer des Programms gesteigert wird,
- hundertprozentige Teilnahme und keine Ausfälle zu erwarten sind.
Was heißt überhaupt Evaluation?
Evaluation ist der systematische Versuch, in einem kontinuierlichen Prozess aus Erfahrungen zu lernen - die Prüfung der Wirksamkeit durchgeführter Maßnahmen, Programme, Projekte. Zwei Arten gibt es:
|
Inhaltlich gibt es dabei wiederum drei Ebenen:
- Prozessevaluation:
Findet während des Gesundheitsförderungsvorhabens statt; ihre Ergebnisse sollen kontrollieren (z. B. Aufwandmessung, Vergleich von Zwischenergebnissen mit Zielvorgaben) und die Weiterführung des Projektes steuern: projektbegleitende Evaluation als Entscheidungsgrundlage für die Veränderung oder Beibehaltung von Projektabläufen. - Ergebnisevaluation:
Gibt Auskunft über die Wirksamkeit einer Maßnahme und berücksichtigt das Ausmaß der Erreichung eines Maßnahmenziels (Auswertung von Zwischenbilanzen und Ergebnissen): zumindest teilweise sollte ein Konzept gewählt werden, das nicht nur auf Fremdevaluation, sondern auch auf der Partizipation der Projektakteure beruht (z. B. Selbstevaluation). - Strukturevaluation:
Beurteilt Ergebnisse und Erkenntnisse über den Einfluss spezifischer Organisationsstrukturen und Implementationsstrategien.
Es gibt nur wenige quantitative Evaluationen in der Gesundheitsförderung:
- Eine an wissenschaftlichen Standards orientierte Wirksamkeitsmessung ist kostenintensiv, zeitaufwendig und erfordert methodische Detailkenntnisse: Die dabei erforderliche Bildung von Kontrollgruppen ist betrieblich in der Regel gar nicht vertretbar.
- Der Zeithorizont ist entscheidend: Die Identifizierung von langfristigen, umfassenden Effekten von Gesundheitsförderungsmaßnahmen (z. B. Verhaltens/Einstellungs-änderungen, Senkung spezifischer Erkrankungsraten) ist nur schwer möglich, da ein ganzes Bündel von Einflüssen im Lebensumfeld auf diese Effekte einwirkt. Die Messung nachhaltiger Einflüsse von Maßnahmen ist erst nach langer Zeit möglich, dann hat sich aber im Projektumfeld vielleicht bereits viel verändert (z. B. Fluktuation der Beschäftigten, strukturelle Änderungen im Betrieb).
- Es mangelt oft an den, für eine sorgfältige Evaluation notwendigen Daten: z. B. an Daten, die als Indikatoren für positive "Neben"effekte, wie verbesserte Kommunikation, tauglich sind. Die Erfassung aus ökonomischer Sicht nicht greifbarer Auswirkungen (z. B. Veränderungen der Arbeitsmoral und Produktivität) ist, wenn überhaupt, nur mit speziellen und nicht quantitativen Methoden, durchführbar.
Die bloße Betrachtung direkter finanzieller Ersparnisse (z. B. durch gesunkenen Krankenstand) wird immer nur von begrenzter Aussagekraft sein. Die Untersuchungsergebnisse dokumentierter betrieblicher Gesundheitsförderung-programme sind außerdem in der Regel unternehmens- und/oder branchenspezifisch und daher nur schwer übertragbar, wozu auch nationale Unterschiede kommen.
Langfristigkeit und qualitative Natur der Effekte, ihre Einwirkung auf ein breites Spektrum von, auf den ersten Blick nicht miteinander zusammenhängenden Kostenfaktoren, aber auch die Abschätzung "vermiedener" Kosten erschweren also quantitative Berechnungen. Außerdem sind die zu erwartenden Einspareffekte nicht linear errechenbar, sondern hängen v. a. davon ab, ob vorhandene Gesundheitsförderungsmaßnahmen bereits greifen.
Bei der Beurteilung der Senkung von Krankenstand als Erfolgskriterium scheitern traditionelle Kosten/Nutzen-Verfahren an der Schwierigkeit, einzelne Ursachen oder Ursachenfelder kostenmäßig zu erfassen, aber auch deshalb, weil der Anteil der einzelnen Verursachungsfaktoren am gesamten Krankenstand fast nie bekannt ist. Kosten/Nutzen-Analysen werden daher günstigerweise im Bereich des Arbeits- und Gesundheitsschutzes weniger als Bilanzierungs-, sondern v. a. als Planungsinstrument verstanden, das dem betrieblichen Controlling angepasst z. B. mit Kosten der ungestörten Arbeitsstunde (= Quotient aus Gesamtkosten des Arbeits- und Gesundheitsschutzsystems sowie der Anzahl der ungestörten Arbeitsstunden) als aussagefähigem Indikator arbeitet.
Pragmatische und qualitative Evaluation des Projektes
Trotz all dieser Schwierigkeiten sollten alle Beteiligten (Unternehmen, MitarbeiterInnen, Externe ProjektpartnerInnen,...) an der Evaluation der Gesundheitsförderung interessiert sein. Eine umfassende quantitative Bewertung ist wahrscheinlich nur in speziellen Modellprojekten durchführbar. Ein pragmatisches und qualitatives Herangehen ist jedoch möglich.
- Welche Ergebnisse wurden erzielt?z. B.: Bestimmte als notwendig erkannte Verbesserungen wurden durchgeführt; Maßnahmen wurden gesetzt, die sich bereits (laut Fachliteratur, Beratungsorganisationen, usw.) als sinnvoll und wirksam erwiesen haben.
- Wurden präventiv wirkende Prozesse eingeführt?z. B.: Routinen für ein Feedback an den Betrieb in Bezug auf Gesundheitsgefahren wurden entwickelt und eingeführt.
- Haben wir strukturelle Verbesserungen erreicht?z. B.: Eine Struktur für die Informationsbeschaffung und -aufarbeitung zum Umgang mit Chemie wurde geschaffen. Die Organisation für Planungen im Gesundheitsbereich (oder auch generell für das Vorschlagswesen) wurde vereinfacht.
- Wurden die Anforderungen an Gesundheitsförderung erfüllt?z. B.: Bezüglich der Grunderfordernis einer ausgewogenen Mischung von Verhältnis- und Verhaltensprävention: Ein Arbeitsprozess wurde gesundheitsförderlicher gestaltet, neue Arbeitsstühle wurden angeschafft - aber auch Fähigkeiten zur Entspannung und richtigen Haltung erworben.
Dies ist ein Herangehen in der Art "kleiner Wirkungsmessungen" von Gesundheitsförderungsmaßnahmen. Neben quantitativen Indikatoren (z. B. Zahl der Verbesserungsvorschläge, weniger gesundheitsgefährdende Stoffe, Teilnehmerzahl bei Verhaltensprogrammen) können gerade dadurch qualitative Kriterien überprüft werden (z. B. Grundprinzipien der Gesundheitsförderung, Akzeptanz von Maßnahmen, Arbeitszufriedenheit, usw.).
Die Erhebung benötigt hier qualitative Methoden, z. B. Interviews, Fragebögen mit offenen Fragen, Gruppendiskussionen, Beobachtungen und/ oder Expertenbeurteilungen. Dies hat auch den großen Vorteil, dass der Einsatz solcher Instrumente nicht nur der Bewertung von Maßnahmen dient, sondern eigentlich eine Fortführung von Gesundheitsförderung bedeutet, v. a. wenn die Betroffenen selbst, ihre Bedürfnisse und Ansichten in den Prozess der Evaluation einbezogen werden. Denn auch subjektive Parameter (z. B. Zufriedenheit, persönliches Wohlbefinden der Teilnehmer an Maßnahmen) gehören zu den Zielen betrieblicher Gesundheitsförderung:
- Auch "kleine" Wirkungsmessungen liefern darüber Informationen, die wichtige Planungsgrundlagen künftiger Maßnahmen sind.
- Sie können Legitimation und Begründung dafür sein, dass eine Maßnahme weitergeführt, geändert bzw. abgesetzt wird.
Die Erfolgskontrolle ist nicht vorrangig im Sinne einer hierarchischen Kontrollfunktion zu verstehen, sondern zielt vor allem auf die Steuerung des Prozesses und seine Optimierung ab. Grundsätzlich ist eine Evaluation durch Externe günstig, da Weiterentwicklungen vor allem durch Außenstehende weitergetrieben werden können. Wichtig ist vor allem, dass die Erfolgskriterien durch die Steuerungsgruppe bereits zu Beginn eines Gesundheitsförderungsprojektes ausgewählt und zu Zielvorgaben der Gesundheitsförderung ernannt werden! Während der Durchführung von Gesundheitsförderungsprojekte treten immer wieder Veränderungen der ursprünglichen Vorstellungen auf: Daher müssen die Erfolgskriterien von Zeit zu Zeit darauf geprüft werden, ob sie nach wie vor relevant sind, bzw. ob nicht zusätzliche taugliche Kriterien berücksichtigt werden müssen. Gerade der Gesundheitsbericht wäre bei entsprechender Gestaltung und regelmäßiger Herausgabe ein sehr gut geeignetes Instrument, qualitative Kriterien für Effektivität und Effizienz zu entwickeln, die gleichzeitig einfach realisierbar sind und ein realistisches Bild für die Beurteilung ergeben.
Beispiele
Eine generelle Erfolgskontrolle kann durch eine zweite Analyse der Gesundheitssituation im Betrieb (nach ca. einem Jahr Laufzeit oder nach Abschluss des Gesundheitsförderungsprojekts) geschehen. Mit einem Vergleich mit der Ausgangssituation werden die durchgeführten Maßnahmen bewertet.
- Befragung der Mitglieder der Steuerungsgruppe (Reflexion der eigenen Arbeit): über Projektzusammensetzung, persönliche Schlussfolgerungen über das Projekt als soziales System, fachliche und persönliche Konsequenzen aus dem Projekt, usw.
- Eventuell als Ergänzung Befragung von Kursverantwortlichen und anderen Experten zum Projektverlauf, usw.
- Veröffentlichung der Ergebnisse in einem 2. Gesundheitsbericht.
Der Erfolg einzelner Maßnahmen kann in ähnlicher Weise mit einer einfachen Wirkungsmessung bewertet werden. Dabei sind zu Beginn z. B. folgende Fragen zu beantworten:
- Was kann die Maßnahme generell bewirken?
- Welche Ziele müssen erreicht werden, damit die Maßnahme als erfolgreich gilt?
- Mit welchen Mittel kann der Erfolg kontrolliert werden?
Die einfachste Methode ist ein Kurzfragebogen mit angemessenen Indikatoren zur Messung der Zielerreichung. Diese Indikatoren sind maßnahmenspezifisch, der Fragebogen bezieht sich daher auf verschiedene Themenschwerpunkte, Mängel, aber auch auf Akzeptanz und unmittelbaren Erfolg sowie zentrale Punkte wie Zielgruppenerreichung.
Die Beurteilung des langfristigen Erfolgs kann sich an Fragen orientieren wie:
- Bleiben die während der Kursteilnahme erzielten Erfolge langfristig stabil bzw. verbessern oder verschlechtern sie sich?
- Machen die Teilnehmer nach Kursende von dem Gelernten Gebrauch und setzen sie es selbständig weiter in ihrem Alltag um?
- Was beeinflusst das langfristige Ergebnis günstig bzw. ungünstig?