zum Inhalt der Website

ROI Institut - Global Leaders in Evaluation - Bildungscontrolling

FAQs

Auch wenn die meisten Praktiker den ROI-Prozess (ROI ProcessTM) als wichtiges Instrument zur Messung und Evaluation anerkennen, kämpfen sie häufig damit, das Thema auch tatsächlich anzugehen. Viele Fachleute sehen in der ROI-Methode eine Chance für steigende Budgets und Wachstum für die Personalentwicklung. Einige Personalentwickler glauben, dass man mit dem ROI-Prozess die PE-Abteilung weiterentwickeln kann und dementsprechend Anerkennung erhält. Unabhängig von der Motivation, den ROI-Prozess zu nutzen, lauten die zentralen Fragen:

Antworten auf diese Fragen können zu langwierigen Debatten führen. Die Kontroversen um den ROI-Prozess entstammen zumeist Missverständnissen darüber, was der Prozess kann und was nicht und wie er in einem Unternehmen implementiert werden sollte. Diese Missverständnisse sind als die 15 Mythen der ROI-Methode aufgeführt:

1. ROI ist für die meisten Anwender zu kompliziert:

Diese Problematik entstand durch die Veröffentlichung einiger komplexer Modelle. Sie haben unglücklicherweise wenig dazu beigetragen, Anwendern zu helfen, sondern vielmehr dazu, sie zu verwirren. Die ROI-Methode ist eine grundlegende Formel zur Ermittlung von Finanzdaten. Sie ist einfach und leicht verständlich: Erlöse werden durch Investitionen geteilt. Erlöse sind gleichbedeutend mit Nettonutzen eines Programms und die Investitionen entsprechen den tatsächlichen Programmkosten. Von dieser Grundformel abzuweichen, kann zu Verwirrung und Missverständnissen führen. Das ROI-Modell ist aber durch einen in Teilschritte systematisierten Prozess praktikabel gestaltet worden. Jeder Teilschritt wird für sich behandelt und alle damit in Zusammenhang stehenden Themen werden adressiert.

2. ROI ist teuer und verschlingt viele wichtige Ressourcen:

Der ROI-Prozess kann kostspielig werden, wenn er nicht umsichtig organisiert, kontrolliert und richtig implementiert wird. Bei einer ROI-Auswirkungsstudie können beachtliche Kosten entstehen, doch es gibt viele Möglichkeiten, die Kosten gering zu halten.

3. Benötigt das Top-Management keinen ROI, besteht keine Veranlassung, ihn zu ermitteln:

Es ist ein Leichtes, sich auf die Bereitstellung von Evaluation und Messung der Ist-Situation zurückzuziehen und der Annahme zu verfallen, dass, wenn keine konkrete Anforderung oder kein Druck vorhanden ist, dies gleichbedeutend sei damit, dass auch keine Notwendigkeit zur ROI-Ermittlung besteht. In einigen Fällen haben Personalentwickler ihre Top-Manager sogar davon überzeugen können, dass Trainingsprogramme nicht mit einem ROI evaluiert werden können oder die Auswirkungen des Programms nicht bestimmbar sind. In Wahrheit fragen Manager nur deshalb nicht nach diesen Fakten, weil sie glauben, diese seien nicht verfügbar. So ist es keinesfalls verwunderlich, dass auch nicht nach den Evaluationsstufen 1 bis 5 gefragt wird. Dieses Denken birgt aber noch ein anderes Problem. Die Paradigmen verändern sich - nicht nur im Kontext von Personalentwicklung, sondern innerhalb des Top-Managements selbst. Führungskräfte fragen neuerdings immer häufiger nach solchen Daten. Veränderungen an der Führungsspitze eines Unternehmens lösen oftmals wichtige Paradigmenwechsel aus. Die neuen Manager fordern plötzlich Rechenschaftsbelege für Personalentwicklungsmaßnahmen. Der Prozess einer ROI-Integration in eine Organisation ist zeitaufwendig und beansprucht in vielen Unternehmen 12 bis 18 Monate. Fragen Führungskräfte nach diesen Daten, erwarten sie aber in der Regel schnelle Ergebnisse. Darum sollten Personalentwicklungsabteilungen einen ROI-Prozess initiieren und Auswirkungsstudien erstellen, lange bevor ein Top-Manager sich dafür interessiert.

4. ROI ist eine Modeerscheinung:

Leider trifft diese Aussage auf viele Prozesse zu, die heutzutage in einem Unternehmen eingeführt werden. Doch über Ausgaben Rechenschaft abzulegen, wird immer aktuell bleiben. Der ROI stellt in diesem Zusammenhang valider Dokumentation die höchste Stufe dar. Als Instrument wird die Ermittlung des ROI seit Jahren verwendet; ursprünglich zur Messung von Investitionen in Maschinen, Anlagen und Produktionsstätten, jetzt auch in vielen anderen Bereichen, einschließlich Training, Weiterbildung und Lernlösungen. Bei ihrer langen Historie wird die ROI-Ermittlung ein wichtiges Evaluationsinstrument bleiben.

5. ROI betrifft doch nur eine Art von Daten:

Dies ist ein verbreitetes Missverständnis. Für die ROI-Kalkulation wird eine Formel verwendet, die sämtliche Kosten eines Programms dem Nutzen gegenüberstellt. Dabei werden 6 qualitative und quantitative Datenarten ermittelt.

6. ROI ist nicht zukunftsorientiert, sondern reflektiert vergangene Leistung:

Unglücklicherweise beziehen sich viele Evaluationsprozesse auf die Vergangenheit und reflektieren nur, was mit dem Programm passiert ist. Dies ist der einzige Weg, eine genaue Auswirkungsanalyse vorzunehmen. Doch kann die ROI-Methode sehr wohl zur Vorhersage des ROI verwendet werden.

7. ROI wird selten in Unternehmen eingesetzt:

Ein Mythos, der bei Betrachtung der Fakten schnell in sich zusammenfällt. Mehr als 1.000 Unternehmen und Organisationen verwenden die ROI-Methode. Über 100 Fallstudien wurden über die ROI-Methode veröffentlicht. Weltweit nutzen führende Unternehmen aller Größen und Branchen die ROI-Methode zur Verbesserung ihrer Personalentwicklungsprogramme.

8. Die ROI-Methode kann nicht einfach reproduziert werden:

Das sind verständliche Bedenken. Theoretisch aber kann jeder implementierte Prozess für eine neue Studie reproduziert werden. Zum Beispiel: Wenn zwei verschiedene Personen eine ROI-Auswirkungsstudie desselben Programms durchführen, würden sie dann auch die gleichen Resultate erzielen? Glücklicherweise ist die ROI-Methode ein systematischer Prozess mit bestimmten Standards und Grundsätzen. Daher ist die Wahrscheinlichkeit sehr hoch, dass zwei verschiedene ROI-Experten die gleichen Resultate erzielen. Weil dieser Prozess ein schrittweises Vorgehen beinhaltet, kann er von einem zum anderen Programm wiederholt werden.

9. ROI ist kein glaubwürdiger Prozess, er ist zu subjektiv:

Dieser Mythos entstand, weil einige ROI-Studien, die durch Literatur und Fachkonferenzen bekannt wurden, lediglich die Methode "Bewertung/Einschätzung von Mitarbeitern" verwendet haben. Bei vielen ROI-Studien werden keine Schätzungen verwendet. Die Probleme von Schätzungen treten häufig bei der Isolierung der Effekte auf. Doch ist "Schätzungen der Teilnehmer" nur eine von verschiedenen Techniken, die Effekte eines Programms zu isolieren. Andere schließen analytisches Vorgehen, wie die Verwendung von Kontrollgruppen und Trendlinienanalysen, ein. Manchmal werden Schätzungen auch zur Umwandlung von Daten in monetäre Werte oder bei der Datenerfassung zur Ermittlung der Produktivität vorgenommen. In jedem dieser Fälle stehen häufig andere Optionen zur Verfügung. Aus Gründen der Praktikabilität oder Wirtschaftlichkeit werden aber teilweise Schätzungen bevorzugt. Innerhalb des ROI-Prozesses sind sie oftmals Worst-Case-Szenarien. Dabei sind Schätzungen sehr verlässlich, wenn sie umsichtig vorgenommen, um Fehler korrigiert und entsprechend berichtet werden. Bestimmte Bereiche in der Finanzbuchhaltung, dem Maschinenbau und der Technologie erfordern regelmäßig Schätzungen; häufig ohne Fragen oder Bedenken seitens des Managements.

10. ROI eignet sich nur für Produktions- und Verkaufsprogramme, nicht für Training sogenannter "weicher Kompetenzen" (Soft Skills):

Der ROI ist gerade bei Soft-Skill-Programmen besonders effektiv. Ein Training weicher Kompetenzen wirkt sich stark auf harte Daten aus, wie Produktivität, Qualität, Kosten oder Zeit. Fallstudie für Fallstudie zeigt sich die erfolgreiche Anwendung der ROI-Methode bei Programmen zu Teambildung, Führungstraining, Kommunikation, Mitarbeiterentwicklung oder aber auch bei Programmen zur Implementierung von Firmenrichtlinien. Behauptungen wie "Für jedes Programm oder jeden Prozess kann ein ROI berechnet werden", kommen auf, wenn die ROI-Methode für Programme genutzt wird, die auf dieser Stufe nicht evaluiert werden sollten. Die ROI-Methode sollte Programmen vorbehalten sein, die kostenintensiv sind, operationale Probleme behandeln, in Verbindung mit der strategischen Zielsetzung stehen oder das Interesse des Managements auf sich ziehen.

11. ROI ist nur für die Produktion oder Serviceunternehmen geeignet:

Auch wenn die ersten Studien den Produktionssektor betrafen, übernahm der Servicesektor schnell den ROI-Prozess als nützliches Instrument. Danach wanderte er in den Non-Profit Sektor, wie z.B. Hospitäler. Als nächstes fand der ROI-Prozess in den unterschiedlichsten öffentlichen Verwaltungen und Regierungsbereichen Anwendung. Jetzt wenden Aus- und Weiterbildungseinrichtungen die ROI-Methode an. Verschiedene Ausbildungsinstitute nutzen den Prozess, um die Auswirkungen ihrer formalen Diplom-Studiengänge und weniger strukturierter Lehrprogramme zu messen.

12. Es ist unmöglich, die Einflüsse anderer Faktoren zu isolieren:

Eine Isolierung der Effekte anderer Faktoren wird mit der ROI-Methode immer erreicht. Es gibt neun Methoden, den Einfluss von Faktoren zu isolieren. Immer kann mindestens eine Methode angewendet werden. Die Herausforderung besteht in der Auswahl der zur Isolierung geeigneten Methode. Dieser Mythos hat seinen Ursprung möglicherweise in erfolglosen Versuchen mit Kontrollgruppen. Das ist ein klassischer Weg, die Effekte eines Prozesses oder Programms zu isolieren. In der Praxis jedoch erweisen sich Kontrollgruppen für die Mehrzahl der Projekte als ungeeignet. Das führt bei einigen Fachleuten dazu, die Isolierung anderer Faktoren nicht weiter fortzuführen. Dabei bieten viele andere Techniken genaue und verlässliche Methoden, um die Effekte zu isolieren.

13. Verbesserungen am Arbeitsplatz können nicht gemessen werden:

Da es keine Kontrolle darüber gibt, was passiert, nachdem die Teilnehmer das Training beendet haben, sollte keine Messung der Verbesserungen am Arbeitsplatz durchgeführt werden. Dieser Mythos verblasst allmählich, da Unternehmen notwendige Kompetenzen am Arbeitsplatz implementieren und die Ergebnisse messen. Obwohl Personalentwicklungsabteilungen keine direkte Kontrolle darüber haben, was am Arbeitsplatz passiert, besitzen sie Einfluss auf den Prozess selbst. Ein Trainingsprogramm muss im Kontext mit den Arbeitsplatzanforderungen stehen. Die Zielsetzungen fokussieren auf Anwendungs- und Auswirkungsdaten für die ROI-Analyse. Erfolgreiche Personalentwicklung besteht aus einem partnerschaftlichen Prozess aller Beteiligten auf allen Stufen - nicht nur aus Seminaraktivitäten.

14. ROI ist nur für große Untenehmen geeignet:

Es ist richtig, dass große Unternehmen mit riesigen Trainingsbudgets besonders am ROI interessiert sind. Doch können auch kleinere Unternehmen den Prozess einsetzen insbesondere, wenn der ROI-Prozess vereinfacht wird. So haben bereits Unternehmen mit weniger als 50 Mitarbeitern die ROI-Methode angewendet und als Instrument zur Steigerung von Engagement und Verantwortlichkeit in ihrer Personalentwicklung erfolgreich eingesetzt.

15. Es gibt keine Standards in der ROI-Methode:

Ein großes Problem bei der Messung und Evaluation ist der Mangel an Standards und/oder an Kontinuität. Häufig werden folgende Fragen gestellt: "Was ist ein guter ROI?" oder "Was soll in den Kosten enthalten sein, damit ich meine Daten mit anderen vergleichen kann?" oder "Wann sollen Daten in die ROI-Berechnung eingeschlossen werden und wann als immateriell behandelt werden?" Standards, die als Richtlinien für alle ROI-Experten gelten, wurden als Grundsätze definiert. Zurzeit entsteht eine ROI-Datenbank mit Tausenden von Studien, die eine Auswertung von Vergleichen, Benchmarks, Best practices, Trends etc. ermöglichen wird. Zusätzlich ist eine auf der ROI-Methode basierende Software verfügbar.