von Uwe Wehrspohn

Im Enterprise Risk Management sind Experteneinschätzungen nach wie vor die zentrale Methode, um Risiken zu identifizieren und zu bewerten. In der Regel sind es die Verantwortlichen bestimmter Unternehmensbereiche, die im Rahmen einer Umfrage die Aufgabe haben, dem Risikomanagement zu melden, welche Risiken in ihrem Bereich bestehen, wie hoch die Eintrittswahrscheinlichkeit ist und welches Ausmaß sie im Eintrittsfall haben.

In der Vergangenheit wurden Expertenschätzungen auch zur Risikoaggregation herangezogen, d.h. zur Ermittlung des Gesamtrisikos des Unternehmens als Summe der Einzelrisiken. Diese Vorgehensweise wurde jedoch als Überforderung der Experten kritisiert und daher mit Inkrafttreten des Prüfungsstandards 340 n.F. des Instituts der Wirtschaftsprüfer durch die Empfehlung ersetzt, eine methodische Risikoaggregation durchzuführen und hierfür z.B. eine Monte-Carlo-Simulation zu verwenden.

Es bleibt offen, warum die Kritik an den Expertenschätzungen nicht ganzheitlich erfolgte und sich auf den Schritt der Risikoaggregation im Risikomanagementprozess beschränkte. Eine fehlerhafte Risikoidentifikation und/oder eine fehlerhafte Risikobewertung haben zwangsläufig zur Folge, dass alle Fehler in die Risikoaggregation eingehen. Die Aggregation bleibt dann ebenfalls unzuverlässig, unabhängig davon, mit welcher Methode sie durchgeführt wird.

Die Qualität der Expertenschätzungen bleibt damit für das Enterprise Risk Management eine kritische Frage, mit der die Validität seiner Aussagen steht und fällt. Sie entscheidet darüber, ob das ERM lediglich eine Unterfunktion des Berichtswesens ist, das möglichst kostengünstig die obligatorischen Berichte erstellt, die ansonsten nicht weiter beachtet werden, oder ob seine Ergebnisse im Controlling und in der Unternehmenssteuerung genutzt werden können.

Eigentlich wäre es die Aufgabe des ERM nachzuweisen, dass die verwendeten Methoden korrekte Ergebnisse liefern. Wir setzen hier einen Schritt vorher an und drehen die Fragestellung um und zeigen Situationen, in denen die Methoden möglicherweise nicht mehr funktionieren. Um im Unternehmen eine kritische Selbsteinschätzung vornehmen zu können, welche Verlässlichkeit von Experteneinschätzungen in den Umfragen im Risikomanagementprozess erwartet werden kann, liefern wir eine Liste von Frühwarnindikatoren für eine mögliche Überforderung und / oder mangelnde Qualität der Expertenaussagen.

Indikator 1: Nimmt nur ein Experte die Einschätzung vor?

Experten sind keine Maschinen, sondern Menschen, Individuen. Sie haben unterschiedliche Kenntnisse, unterschiedliche Hintergründe, unterschiedliche Ausbildungen usw. Es ist daher nicht verwunderlich, dass, wenn mehrere Personen den Expertenstatus erhalten und denselben Sachverhalt beurteilen sollen, sie in der Regel zu sehr unterschiedlichen Ergebnissen kommen.

Dieser Pluralismus der Expertenurteile ist nicht auf das Risikomanagement beschränkt, sondern lässt sich in beliebigen Kontexten beobachten, von der Beurteilung der Maßnahmen gegen die Klimakrise über Wirtschaftspolitik, soziale Fragen, Bildung, Infrastruktur, Zuwanderung bis hin zu Risiken. Die Aussagen über die Kritikalität eines Sachverhaltes weichen oft um mehrere hundert Prozent voneinander ab. Experteneinschätzungen sind quasi ein Zufallszahlengenerator für Risiko- und Systemparameter. 

Im Risikomanagementprozess wird diese Meinungsvielfalt oft gescheut, weil sie konsolidiert werden muss. Eine vordergründige Lösung des Problems besteht daher darin, nur einen Experten direkt zu befragen. Der Pluralismus ist dann natürlich nicht verschwunden, aber man sieht ihn nicht mehr.

Indikator 2: Steht der Experte in einem Interessenkonflikt?

Im Risikomanagementprozess werden in der Regel Führungskräfte des mittleren Managements als Experten benannt, die in einer Umfrage Auskunft über die Risiken in ihrem Verantwortungsbereich geben. Die Umfrage findet also in einem sehr spezifischen und homogenen Milieu statt. Die konkreten Kompetenzen der Experten im Risikomanagement werden im Allgemeinen nicht thematisiert.

Dies stellt insofern eine Ausnahmesituation dar, als Manager in der Regel an Erfolgskriterien wie Umsatz und Rentabilität gemessen werden und nicht an der Richtigkeit und Vollständigkeit ihrer Risikoeinschätzungen. Es besteht daher die Gefahr, dass der Manager die Informationen so aufbereitet, dass sie ihn in einem günstigen Licht erscheinen lassen und seine Handlungsfreiheit wenig einschränken oder sogar fördern. Was das inhaltlich bedeutet, ist völlig offen. Es kann eine Abschwächung ebenso nahe legen wie eine Zuspitzung der Risikobewertung[1].

Viele Risikoexperten sehen in der Risikoinventur und Risikobewertung eine mehr als lästige Pflicht, die sie möglichst schlank erfüllen wollen. Dies legt nahe, auf eine quartalsweise Neubewertung der Risiken materiell zu verzichten und sich stattdessen der Mehrheitsmeinung und dem Status quo anzuschließen. Es ist einfacher, eine etablierte Meinung zu bestätigen, als eine neue Meinung zu etablieren.

Ein dritter Typ von Interessenkonflikt besteht nicht nur innerhalb des Experten, sondern betrifft auch andere Parteien im Unternehmen. Wenn der Manager unter politischem Druck oder Konformitätsdruck steht und möglicherweise in Konflikt mit anderen Managern gerät, kann eine angepasste Risikobewertung eine für ihn kostengünstige Lösung des Problems sein.

Indikator 3: Sind die Risikoschäden potentiell sehr groß?

Mit der Größe eines Risikos steigt die Brisanz der Aussagen eines Risikoexperten. Interessenkonflikte werden verschärft.

Dies kann so weit gehen, dass mit einem Risiko eine Bestandsgefährdung zur Diskussion steht. Das Eingeständnis eines bestandsgefährdenden Risikos wäre aber für den Experten ein heikler Schritt, der den Vorstand gegenüber Investoren, Kunden und Mitarbeitern in Zugzwang bringen würde. Bestandsgefährdende Risiken kommen in den veröffentlichten Risikoberichten der Unternehmen und damit auch in den revisionssicher aufbewahrten Risikoinventaren quasi nicht vor. Das reale Enterprise Risk Management scheint sich in einem Zwischenbereich oberhalb einer Bagatellgrenze und unterhalb einer kritischen Grenze zu bewegen, ab der es langsam gefährlich wird.

Unabhängig von Interessenkonflikten steigt mit der Größe des Risikos in der Regel auch die Größe eines Bewertungsfehlers. Wenn das Risiko sehr groß ist, ist es viel leichter, sich bei der Bewertung um große Beträge zu irren, als wenn der Sachverhalt eine geringe Größenordnung hat.

Indikator 4: Wird der Experte in seinen Ausdrucksformen eingeschränkt?

Um den Bereichsmanagern eine einfache Risikoinventur und eine angenehme ‚User Experience‘ zu ermöglichen, wird die Risikobewertung in vielen Unternehmen und Systemen stark standardisiert und vereinfacht. Die Kehrseite der Medaille ist, dass dem Experten dadurch nur wenige Möglichkeiten zur Beschreibung des Risikos zur Verfügung stehen.

Dies betrifft zum einen die Darstellung der Eintritte, wenn z.B. nur Eintrittswahrscheinlichkeiten als Bewertung zugelassen werden. Dies impliziert einen Fehler unbekannter Größe bei Risiken, die nicht nur einmal in einer Periode auftreten, wie z.B. Cyberrisiken, Personalrisiken, Produktrisiken und viele mehr.

Auf der Auswirkungsseite sind Dreipunktverteilungen (Dreiecks-, PERT- und Multinomialverteilung) bei vielen Unternehmen beliebt, da ihre Parameter den Risikoexperten vom Prinzip her leicht zu erklären sind (Minimum, wahrscheinlichster / mittlerer Wert, Maximum). Häufig werden auch die Gleichverteilung (parametrisiert mit Minimum und Maximum) und ein fester Verlust bei Eintritt (Maximum) zugelassen.

Allerdings stellen gerade Extremwerte wie Minimum und Maximum eine Herausforderung für Risikoexperten dar. Absolute Grenzen des Möglichen entziehen sich leicht der Erfahrung. Der größtmögliche Unfall ist zum Glück noch nicht in allen Fällen eingetreten. Welchen Wert aber soll der Experte nun angeben? Ein Fehler bei der Wahl dieser Parameter hat gravierende Folgen. In den weiteren Analysen werden Verluste oberhalb des angegebenen Maximums nicht mehr auftreten. Falls sie doch auftreten, ist das Unternehmen blind für die Auswirkungen (siehe auch Abbildung 1).

Der Fokus auf Standardisierung und Einfachheit macht auch das ‚Paradoxon des Risikoexperten‘ deutlich. Braucht ein Experte einen kleinen Werkzeugkasten mit einfach zu bedienenden Werkzeugen? Das wäre normalerweise eine Hilfestellung für Anfänger. Ein echter Experte braucht das richtige Werkzeug für die richtige Anwendung und weiß, wie man damit umgeht[2].

Indikator 5: Wird das Risiko aus mehreren Unsicherheiten gespeist, deren Wirkung zusammengefasst werden muss?

Enterprise Risk Management hat eine hohe Flughöhe und blickt aus der Adlerperspektive auf das Unternehmen. Für Risiken gibt es in den meisten Unternehmen eine Bagatell- oder Meldegrenze. Erst wenn diese überschritten wird, wird ein Risiko erfasst, bewertet und überwacht.

Mit der Größe eines Risikos steigt jedoch auch seine Komplexität. Komplexität bedeutet, dass das Risiko nicht nur von einem Faktor bestimmt wird, sondern dass viele Faktoren zusammenwirken und in ihrer Gesamtheit den Eintritt und die Höhe der Auswirkung des Risikos bestimmen.

Ob ein neues Produkt am Markt erfolgreich sein wird, hängt vom Erfolg der Entwicklung, dem Produktionsstart, dem Marktzugang, der Entwicklung der wirtschaftlichen Rahmenbedingungen, dem Verhalten der Wettbewerber usw. ab. Und jeder dieser Faktoren kann selbst wieder von anderen Faktoren abhängen.

Die Bewertung eines solchen Risikos erfordert daher, dass der Risikoexperte das Zusammenspiel aller Einflüsse aggregiert. Wäre der Experte dazu in der Lage, könnte er eigentlich gleich weitermachen und auch das gesamte Unternehmensrisiko aggregieren. Bei dieser Aufgabe wird die eigene Fähigkeit, viele Einflüsse im Kopf zu zusammenzufassen, leicht überschätzt. Sinnvoller erscheint es, bereits für die Bewertung der Einzelrisiken eine methodische Risikoanalyse einschließlich einer Monte-Carlo-Simulation anzuwenden, wie sie der Prüfungsstandard für die Aggregation der Risiken vorsieht.

Methodische Risikoanalyse bedeutet hier eine ‚Disaggregation‘ oder Zerlegung des Risikos vorzunehmen, d.h., dass die Einflussfaktoren identifiziert und ihr Zusammenwirken beschrieben werden. Daten werden gesichtet und Verteilungen für die Einflussfaktoren ausgewählt und kalibriert. Die getroffenen Annahmen werden dokumentiert. Abschließend werden die Einflüsse mit ihrem Zusammenhang unter diesen Annahmen mit Monte-Carlo Simulation aggregiert, plausibilisiert und an den Daten validiert.

Abbildung 1 - Methodisch bewertetes Risiko und kalibrierte Verteilungen

Nachdem ein Risiko methodisch bewertet wurde, stellt sich erneut die in Abschnitt 4 gestellte Frage, ob die simulierte Verteilung im ERM dargestellt werden kann. In Abbildung 1 stellt das orange Histogramm das simulierte Risiko dar. Für dieses Risiko wurden die in der Industrie am meisten verwendeten Verteilungen kalibriert, d. h. Gleichverteilung, PERT-Verteilung und Dreiecksverteilung[3][4].

Das simulierte zusammengesetzte Risiko zeigt einen langen und dünnen Ausläufer in Richtung der großen Verluste. Dies ist charakteristisch für Risiken im ERM, da außergewöhnlich hohe Verluste in einem Risiko nur bei einer ‚Verkettung unglücklicher Umstände‘ auftreten, d.h. wenn in mehrfacher Hinsicht etwas schief läuft. In den meisten Fällen kompensieren sich die Einflussfaktoren bis zu einem gewissen Grad und man befindet sich in der Mitte der Schadenskala.

Gleich-, PERT- und Dreiecksverteilungen sind zu starre Schablonen, die sich diesem Verlauf nicht anpassen können. Sie treffen zwar das Minimum und das Maximum der simulierten Schäden, dramatisieren aber die Verluste und überschätzen auf der anderen Seite die Chancen.

Dieses Vorgehen stößt daher in der Praxis auf Kritik, da die Fachabteilungen die dramatisierten Verluste nicht akzeptieren (vgl. Frage 4). Die Risikoexperten reagieren darauf (vgl. Frage 3), indem sie die Dreipunktverteilung enger fassen (blaue Linie). Sie treffen dann weder das Minimum, noch das Maximum, noch den wahrscheinlichsten Wert und schneiden die großen Verluste ganz aus dem Risiko heraus. Sie passen die Darstellung des Risikos an die Schablone an. Damit verschwindet genau der Teil des Risikos von der Landkarte, der das Unternehmen am ehesten gefährden könnte, der Maßnahmen erforderlich machen würde, der für die Bewertung von Versicherungen wesentlich ist und damit für das ERM den eigentlichen Kern des Risikos darstellt.

Abbildung 2 - Übertrag der Risikobewertung ins ERM

Das Bild zeigt auch eine anpassungsfähige Verteilung, die in ihrem Verlauf und ihrer Bandbreite das Risiko genau trifft, ohne zu unter- oder überzeichnen, und die per Mausklick in das ERM übertragen werden kann[5].

Indikator 6: Erfordert die Risikoeinschätzung eine funktionsübergreifende Perspektive oder die Integration verschiedener Ansichten und Prioritäten?

Die Komplexität der Risikobewertung kann auch zunehmen, wenn das Risiko mehrere Stakeholder betrifft oder auf ein unklares Managementumfeld trifft (siehe Fragen 2 und 5). Nicht für jeden Stakeholder stellt eine Unsicherheit in gleichem Maße ein Risiko dar. Je nach Perspektive und Priorität ist eine Unsicherheit manchmal ein großes Problem, manchmal eine Chance und manchmal unwichtig.

Die Risikobewertung hängt in dieser Situation also davon ab, wer sich in der Diskussion und Prioritätensetzung durchsetzt, welche Abwägungen getroffen werden und welche Position der Risikoexperte in diesem Spannungsfeld einnimmt. Dies gilt umso mehr, wenn nur ein Risikoexperte die Situation beurteilt (vgl. Frage1).

Indikator 7: Verstehen wir die Situation vollständig? Oder hat sie Auswirkungen, die über das Offensichtliche hinausgehen?

Es liegt in der Natur der Sache, dass man Routine und Erfahrung in einer Tätigkeit gewinnt, wenn man sie schon oft gemacht und viel gesehen hat. Man kennt das Umfeld und kann darauf reagieren.

Aber was passiert, wenn wir mit einer neuen Situation konfrontiert werden? Ist unser Urteil dann noch genauso sicher? Verstehen wir heute schon vollständig, wie sich künstliche Intelligenz, Maßnahmen gegen die Klimakrise, geopolitische Konflikte, die Aktivitäten der Wettbewerber und vieles mehr auf unser Geschäft auswirken werden?

Experten stehen hier vor derselben Herausforderung und gleichzeitig unter dem Druck der Fragen 2 bis 6. Eine Experteneinschätzung kann hier alles bedeuten.

Wie unter diesen Bedingungen eine Risikoanalyse durchgeführt werden kann, zeigen exemplarisch die Studien des Weltklimarats (Intergovernmental Panel on Climate Change)[6]. Im Kern geht es darum, eine Methodik zu definieren, die die relevanten Daten verwendet, die Einflüsse identifiziert und kalibriert und deren Wirkungszusammenhänge beschreibt und bewertet.

Indikator 8: Fehlt den Experten die Rückkopplung, d.h. erhalten die Experten keine direkte Rückmeldung über die Genauigkeit ihrer Vorhersagen?

Das Thema Validierung ist im Enterprise Risk Management noch nicht sehr verbreitet. Prognosen werden erstellt, aber nicht überprüft. Dadurch besteht die Gefahr, dass die Experten und die gesamte Organisation nicht aus ihren Fehlern lernen und falsche Prognosen dauerhaft aufrechterhalten.

Die fehlende Rückkopplung betrifft nicht nur die Bewertung, sondern auch die Inventur. Nicht selten werden Unternehmen durch Risiken zu Sanierungsfällen, die im Risikoinventar gar nicht enthalten waren. Die Pandemie ist ein Beispiel für sehr viele betroffene Unternehmen.

Eine Incident Datenbank, in der eingetretene Risiken dokumentiert und ausgewertet werden, gibt es in Bereichen, in denen eine hohe intrinsische Motivation besteht, Risiken zu analysieren, zu verstehen und zu managen, wie z.B. in der Luftfahrt. Im Enterprise Risk Management gibt es sie fast nur in Unternehmen, die regulatorisch dazu verpflichtet sind, wie Banken und Versicherungen.

Fazit

In einer Umfrage Experteneinschätzungen abzufragen scheint eine Lösung zu sein, um in einem heterogenen Umfeld mit wenig Daten kostengünstig und in kurzer Zeit Risiken abzuschätzen und zu bewerten. Ihre Qualität ist jedoch völlig unklar.

Jeder der genannten Frühwarnindikatoren deutet auf einen Erfassungs- und Bewertungsfehler unbekannter Richtung und Größe bei einer unbekannten Anzahl von Risiken im Risikoinventar hin. Das sind viele Unbekannte, die sich kumulieren.

Wenn Sie mehrere dieser Fragen mit Ja beantwortet haben, ist die Gültigkeit der Risikoanalysen nicht mehr gewährleistet und es wird keine Transparenz geschaffen. Es wird nicht einmal klar sein, ob die Zahlen insgesamt die Größenordnung getroffen haben. Fehler können sich ausgleichen. Sie können sich aber auch aufschaukeln.

Experteneinschätzungen sind eher ein Holzweg als ein Königsweg des Enterprise Risk Managements. Pro-Forma-Reporting kann man unter diesen Bedingungen machen. Risikomanagement kaum.

Wenn Experteneinschätzungen funktionierten, bräuchte es keine Belege und keine Steuererklärungen. Es würde reichen, wenn der Gastwirt, der Handwerker und der Unternehmer am Ende des Tages die Kasse zählen und als Experten dem Finanzamt mitteilen, wie viel Steuern sie zahlen müssen.

Risikomanagement braucht methodische Analyse und Nachvollziehbarkeit auf der Basis von Daten, offen gelegten Annahmen, Kalibrierungen, Auswertungen von Zusammenhängen, Fehlerabschätzungen und Validierungen. Erst unter diesen verbesserten Voraussetzungen wird erkennbar wie groß das Unternehmensrisiko ist, wo es herkommt, was es kostet und wo es sich lohnt eingegangen zu werden und wo nicht. Dann kann das Enterprise Risk Management auch in das Controlling und die Unternehmenssteuerung integriert werden.

Quellenverzeichnis sowie weiterführende Literaturhinweise:

Institut der Wirtschaftsprüfer - Hauptfachausschuss (HFA), IDW-PS-340

Bogner, Alexander; Beate Littig; Wolfgang Menz, Interviews mit Experten – Eine praxisorientierte Einführung, Springer (2014)

Höglinger, M.; B. Jann (Höglinger/Jann 2018): More is not always better: An experimental individual-level validation of the randomized response technique and the crosswise model. PLoS ONE 13(8): e0201770. (2018) https://doi.org/10.1371/journal.pone.0201770

Kaiser, Robert; Qualitative Experteninterviews – Konzeptionelle Grundlagen und praktische Durchführung, 2. Aufl., Springer (2014)

Von dem Berge, Benjamin: Teilstandardisierte Experteninterviews, in: Tausendpfund, Markus (Hrsg.): Fortgeschrittene Analyseverfahren in den Sozialwissenschaften, Springer (2020), S. 275-300

[1] Höglinger/Jann 2018

[2] Vgl. dazu auch den Film „Bessere Experteneinschätzungen im Enterprise Risk Management“, https://youtu.be/uC92yrg64C0.

[3] Die Multinomialverteilung wurde weggelassen, da sie nur Punktmassen kennt und auf ein ste-tiges Risiko nicht passen kann.

[4] Bewertung und Kalibrierung wurden mit Risk Kit durchgeführt.

[5] Die Bewertung wurde in den Enterprise Risk Evaluator eingefügt.

[6]https://www.ipcc.ch/reports/