Wehrspohn Risk Management

Experteneinschätzungen in einer Monte-Carlo-Simulation quantifizieren: die Expertverteilung

Von Dr. Uwe Wehrspohn.

Die Expertverteilung ist eine Verteilung, um Experteneinschätzungen, zum Beispiel im Risikomanagement, besser und sinnvoller zu quantifizieren. Sie wird über Werte festgelegt, die sich Experten gut vorstellen können: über Grenzen, die auch offen bleiben dürfen, den Median und zwei weitere Quantile. Wir erklären Definition und Parameter, zeigen an zwei Beispielen, wie sie lange Ausläufer und offene Grenzen abbildet, wann man sie verwendet und wie man sie in Excel mit Risk Kit simuliert.

Die Expertverteilung ist eine Verteilung, um Experteneinschätzungen, zum Beispiel im Risikomanagement, besser und sinnvoller zu quantifizieren. Experten sind in diesem Fall Fachexperten: Menschen, die bestimmte fachliche Zusammenhänge aus ihrer täglichen Arbeit gut kennen und deshalb einschätzen sollen, etwa wie lange eine Lieferung dauern kann oder wie oft die IT angegriffen wird. Sie sind in der Regel keine Statistiker. Die Expertverteilung ist maßgeschneidert, um von solchen Experten parametrisiert zu werden: Sie arbeitet mit Parametern, die sich solche Fachleute gut vorstellen können. Sie gehört damit in eine Gruppe mit der PERT-Verteilung, der Dreiecksverteilung und der Gleichverteilung. Die PERT-Verteilung und die Dreiecksverteilung sind in der Praxis die am häufigsten eingesetzten Verteilungen in diesem Bereich.

Diese Parameter sind Grenzen und Quantile. Wir zeigen im Folgenden, wie sie definiert ist. Danach sehen wir uns an einem Beispiel an, wo die PERT-Verteilung an ihre Grenzen stößt und wie die Expertverteilung einen Ausweg bietet. Ein zweites Beispiel zeigt, was sie darüber hinaus kann. Zum Schluss setzen wir sie in Excel mit Risk Kit ein.

Was ist eine Expertverteilung?

Die PERT-Verteilung hat drei Parameter: das Minimum, den wahrscheinlichsten Wert, auch Modus genannt, und das Maximum. Die Expertverteilung hat nicht drei, sondern sechs Parameter:

  • Die untere Grenze ist das Gegenstück zum Minimum. In Risk Kit heißt sie Lb.
  • Die obere Grenze ist das Gegenstück zum Maximum. In Risk Kit heißt sie Ub.
  • Der Median ist das 50-%-Quantil, also genau die Mitte der Verteilung.
  • Q1 ist ein Quantil links vom Median.
  • Q2 ist ein Quantil rechts vom Median.
  • Die Wahrscheinlichkeit p legt fest, welche Quantile Q1 und Q2 sind. In Risk Kit heißt dieser Parameter P.

Setzen wir zum Beispiel p = 5 %, dann ist Q1 das 5-%-Quantil und Q2 das 95-%-Quantil. Ein Quantil ist ein Wert, unter dem das Ergebnis mit einer bestimmten Wahrscheinlichkeit bleibt. Das 5-%-Quantil wird also nur in 5 % der Fälle unterschritten, das 95-%-Quantil in 95 % der Fälle. In einer Formel ausgedrückt, wobei P(X ≤ Q1) für die Wahrscheinlichkeit steht, dass das Ergebnis X höchstens Q1 beträgt:

P(X ≤ Q1) = p, P(X ≤ Median) = 0,5, P(X ≤ Q2) = 1 − p

Werden die Grenzen angegeben, liegen alle Werte der Verteilung dazwischen:

Lb ≤ X ≤ Ub

Die Wahrscheinlichkeit p muss dabei zwischen 0 und 0,5 liegen, so steht es auch im Hinweis des Eingabedialogs (zu sehen in Abbildung 5). Die beiden Grenzen sind optional. Was das bedeutet, zeigen wir weiter unten.

Wann stößt die PERT-Verteilung an ihre Grenzen?

Nehmen wir ein Beispiel, bei dem die PERT-Verteilung an ihre Grenzen stößt. Die Unsicherheit, die wir modellieren wollen, sind Lieferzeiten, zum Beispiel für eine Lieferung aus China. Der Transport dauert mindestens 25 Tage. Der wahrscheinlichste Wert sind 35 Tage, und maximal sind es 60 Tage.

In Abbildung 1 stehen diese Angaben links in der Tabelle: Minimum 25 in Zelle D10, Most Likely 35 in D11 und Maximum 60 in D12. Für die Lieferdauer in Zelle D15 haben wir auf der Risk-Kit-Toolbar unter „Beliebt“ die PERT-Verteilung gewählt. Im Eingabedialog verweisen Min, Mode und Max auf die Zellen D10, D11 und D12. Rechts im Dialog ist die Dichte der Verteilung gezeichnet. Die waagerechte Achse zeigt die Lieferdauer in Tagen, die senkrechte die Dichte: Je höher die Kurve, desto häufiger kommen Lieferzeiten in diesem Bereich vor. Die Kurve beginnt bei 25 Tagen, hat ihren Gipfel bei 35 Tagen und läuft bei 60 Tagen aus. Das ist die klassische PERT-Verteilung. Ganz rechts listet eine Tabelle Kennzahlen der Verteilung auf, darunter die Erwartung, den Median und verschiedene Quantile.

Abbildung 1: Die klassische PERT-Verteilung für die Lieferdauer mit Minimum 25, wahrscheinlichstem Wert 35 und Maximum 60 Tagen aus den Zellen D10 bis D12.

Aber es gibt die Möglichkeit, dass der Suezkanal geschlossen wird. Das passiert nur relativ selten, aber dann dauert die Lieferung bis zu 120 Tage. Dieser Wert steht in Zelle D13. Erhöhen wir das Maximum der PERT-Verteilung von 60 auf 120 Tage, indem Max auf D13 verweist, dann passiert Folgendes.

In Abbildung 2 reicht die Kurve jetzt bis 120 Tage. Diese Länge ist korrekt, denn den Wert 120 haben wir selbst angegeben. Das Problem ist die Dicke des Ausläufers. Die PERT-Verteilung hat relativ breite Schultern: Ihre Wahrscheinlichkeit verteilt sich breit über den Bereich zwischen Gipfel und Maximum, statt in einem dünnen, langen Ausläufer auszulaufen. Schieben wir das Maximum weit nach rechts, wandert deshalb viel Wahrscheinlichkeit mit. Wir sehen jetzt in sehr vielen Fällen Lieferzeiten von mehr als 60 Tagen, teilweise sogar von mehr als 100 Tagen. Das zeigt auch die Tabelle rechts: Der Median liegt jetzt bei 44,62 Tagen, das 95-%-Quantil bei 76,92 Tagen und das 99,9-%-Quantil bei 102,17 Tagen. Extreme Lieferzeiten werden also mit zu hoher Wahrscheinlichkeit angenommen. Von der Modellierung her ist das sehr unrealistisch.

Abbildung 2: Dieselbe PERT-Verteilung mit einem Maximum von 120 Tagen aus Zelle D13. Der Ausläufer ist sehr dick, extreme Lieferzeiten werden zu oft angenommen.

In der Praxis hat das oft zur Folge, dass die Verteilung künstlich verkürzt wird, damit sie nicht in unrealistische Bereiche vordringt. Dadurch schließt man aber auch die langen Ausläufer aus, die für die Lieferung besonders kritisch sind. Man hat also die Wahl zwischen Pest und Cholera.

Welchen Ausweg bietet die Expertverteilung?

Die Expertverteilung bietet uns hier einen Ausweg. Um das zu zeigen, legen wir sie als Overlay über die PERT-Verteilung, also als zweite Kurve in dieselbe Grafik. Wir finden sie direkt in der Gruppe der beliebten Verteilungen.

Zuerst bauen wir mit der Expertverteilung die PERT-Verteilung nach. Wir setzen P auf 5 %. Dann ist Q1 das 5-%-Quantil und Q2 das 95-%-Quantil. Welche Werte wir eintragen müssen, damit wir die PERT-Verteilung gut treffen, lesen wir in der Tabelle rechts ab: Das 5-%-Quantil der PERT-Verteilung ist 27,97, der Median 44,62 (im Dialog gerundet als 44,6 eingetragen) und das 95-%-Quantil 76,92. Die untere Grenze Lb verweist auf das Minimum in D10, die obere Grenze Ub auf die 120 Tage in D13.

Abbildung 3 zeigt beide Verteilungen in einer Grafik. Die orange Fläche ist die PERT-Verteilung, die blaue Linie die Expertverteilung. Die gestrichelten senkrechten Linien markieren das 5-%-Quantil, den Median und das 95-%-Quantil. In der Tabelle sind diese drei Zeilen fett gedruckt. Die blaue Linie liegt im Wesentlichen genau über der orangen Fläche. Wir können die PERT-Verteilung also mit der Expertverteilung sehr genau nachbilden.

Abbildung 3: Die Expertverteilung (blaue Linie) baut die PERT-Verteilung (orange Fläche) nach, wenn sie deren 5-%-Quantil, Median und 95-%-Quantil übernimmt.

Die Freiheitsgrade nutzen

Darüber hinaus können wir jetzt die Freiheitsgrade der Expertverteilung nutzbar machen. Wir deuten das Maximum von 60 Tagen um: Es ist ein ziemlich sicherer Wert, der unterschritten wird. Es ist ein schlechter Fall, aber nicht der schlimmste Fall. Deshalb tragen wir die 60 als 95-%-Quantil ein, Q2 verweist jetzt auf Zelle D12. Schon damit ändert sich die Verteilung deutlich. Dann reduzieren wir den Median auf 35 Tage, den Wert, der vorher als wahrscheinlichster Wert angegeben war.

Abbildung 4 zeigt das Ergebnis. Die blaue Linie der Expertverteilung beginnt beim Minimum von 25 Tagen, steigt steil zu einem hohen Gipfel an und fällt dann rasch ab. Sie ist weiterhin bis 120 Tage ausgestreckt, aber der Bereich oberhalb von 60 Tagen wird nur noch mit 5 % Wahrscheinlichkeit angenommen. Das ist viel seltener als bei der PERT-Verteilung, deren orange Fläche weit nach rechts reicht. Die Expertverteilung hat nicht so breite Schultern, sie ist viel schlanker. Die blau beschrifteten Markierungen in der Grafik gehören zur Expertverteilung, die orange beschrifteten zur PERT-Verteilung. Die Tabelle rechts zeigt weiterhin die Kennzahlen der PERT-Verteilung.

Abbildung 4: Mit dem Median 35 und 60 Tagen als 95-%-Quantil wird die Expertverteilung viel schlanker. Oberhalb von 60 Tagen liegen nur noch 5 % der Fälle.

Trotzdem hat die Expertverteilung nur Parameter, die auch interpretierbar sind. Es sind lauter Quantile, also Werte, die sich ein Experte gut vorstellen kann: das Minimum als 0-%-Quantil, das Maximum als 100-%-Quantil, das 5-%- und das 95-%-Quantil als guter und schlechter Fall und der Median als die Mitte der Verteilung.

Der Median ist zudem leichter zu verstehen als der Modus. Der Modus klingt als „wahrscheinlichster Wert“ zwar eingängig, ist im täglichen Leben aber weniger vertraut als die Mitte, die in der Hälfte der Fälle unter- und in der anderen Hälfte überschritten wird. Damit haben wir das Problem der breiten Ausläufer der PERT-Verteilung gelöst und können die Lieferzeiten mithilfe der Expertverteilung vernünftig darstellen.

Wie modelliert man eine Größe ohne bekanntes Maximum?

Die Expertverteilung bietet noch mehr Möglichkeiten, als wir in diesem ersten Beispiel gesehen haben. Im Eingabedialog sind manche Parameter fett gedruckt und manche normal. Die fett gedruckten sind Pflichtparameter, die normal gedruckten sind optional. Optional sind die untere Grenze Lb und die obere Grenze Ub, also Minimum und Maximum. Wir können sie weglassen, wenn wir möchten. Das erweitert den Einsatzbereich der Expertverteilung noch einmal deutlich.

Nehmen wir als Beispiel die Angriffshäufigkeit bei einem Cyberrisiko, also wie oft ich angegriffen werde. Eine Untergrenze gibt es: Weniger als null Angriffe sind unmöglich. Mit 5 % Wahrscheinlichkeit werde ich seltener als 20-mal angegriffen. Die Mitte der Verteilung liegt bei ungefähr 35 Angriffen, und ich bin zu 95 % sicher, dass ich seltener als 65-mal angegriffen werde. Das könnten zum Beispiel Informationen sein, die ich von meiner IT bekommen habe. Sie hat die Angriffshäufigkeit in diesem und im letzten Jahr mitgeschnitten.

Aber was ist die Obergrenze für die Angriffshäufigkeit? Kann ich ein Maximum nennen? Das ist nicht ganz so einfach. Es kann immer sein, dass die Daten aus dem letzten oder vorletzten Jahr nicht mehr repräsentativ für das sind, was in Zukunft passiert. Ich muss nur auf das Radar von Profi-Hackern kommen, und schon können meine Wetten ungültig sein. Dann werde ich wesentlich häufiger angegriffen, als ich aus meinen Daten schließen kann. Deshalb ist es wichtig, dass ich die Obergrenze offen lassen kann.

Würden wir die Angriffshäufigkeit mit einer PERT-Verteilung oder mit einer Dreiecksverteilung modellieren, müssten wir immer annehmen, dass es eine Obergrenze gibt, also eine maximale Angriffshäufigkeit, und dass wir diese auch kennen. Beide Annahmen sind vollkommen unrealistisch.

Abbildung 5 zeigt die Expertverteilung für dieses Beispiel. Wir haben sie dafür in Zelle F15 desselben Arbeitsblatts angelegt. Die Beschriftungen links gehören noch zum Beispiel der Lieferzeiten. Im Eingabedialog stehen P = 5 %, Lb = 0, Q1 = 20, Median = 35 und Q2 = 65. Das Feld Ub bleibt leer, daneben steht „any“: Die Obergrenze ist offen. Die Grafik zeigt, dass die Verteilung dann einen sehr langen Ausläufer entwickelt. Fast die ganze Fläche liegt links, die gestrichelte Linie markiert das 95-%-Quantil bei 65. Trotzdem reicht die waagerechte Achse bis 650. Ich bin also zu 95 % sicher, dass ich höchstens 65-mal angegriffen werde, aber es kann auch deutlich darüber hinausgehen. Wie weit, zeigt die Tabelle rechts: 92 Angriffe werden mit 99 % Wahrscheinlichkeit unterschritten, 107 mit 99,5 % und 150 sogar mit 99,9 %. Als Maximum steht dort ∞, also unendlich.

Die Bearbeitungsleiste oben zeigt die fertige Formel in Zelle F15: =Expert_variate(5%;0;20;35;65). Die Argumente stehen in derselben Reihenfolge wie im Eingabedialog: P, Lb, Q1, Median und Q2. Die offene Obergrenze Ub fehlt am Ende einfach.

Abbildung 5: Angriffshäufigkeit mit offener Obergrenze. Die Expertverteilung entwickelt einen sehr langen Ausläufer, das Maximum in der Tabelle ist unendlich.

Der ganze Bereich rechts bis 650 wird mit noch kleinerer Wahrscheinlichkeit angenommen. Risk Kit zeigt in der Grafik immer den Bereich bis zu einem Ereignis von 1 zu 1 Million. Das heißt: In einer Simulation mit 1 Million Läufen würde die Angriffshäufigkeit tatsächlich bis in die Größenordnung von 650 vordringen.

Auf einer Seite oder auf beiden Seiten offen

Die Expertverteilung erschließt damit eine komplett neue Gruppe von Situationen für Experteneinschätzungen: Situationen, in denen ein Minimum und ein Maximum nicht unbedingt bekannt sind und möglicherweise auch gar nicht sinnvoll anzunehmen sind. Wir können beide Grenzen offen lassen.

Für die Angriffshäufigkeit könnten wir zum Beispiel ein Maximum von 120 Angriffen angeben und das Minimum weglassen. Dann ist die Verteilung links offen und kann auch negative Werte annehmen. Oder wir gehen so weit und sagen, es gibt beides nicht, weder Minimum noch Maximum. Dann ist die Verteilung links und rechts offen. Wir können also jeden einzelnen Fall genau beschreiben: auf beiden Seiten geschlossen, auf einer Seite geschlossen und auf beiden Seiten offen.

Kann man die Parameter der Expertverteilung aus Daten ableiten?

Die Expertverteilung geht aber noch einen Schritt weiter. Weil ihre Parameter lauter Quantile sind, kann ich sie auch aus Daten ableiten. Im Beispiel der Angriffshäufigkeit ergibt sich die Untergrenze null aus allgemeinen Überlegungen, und die Werte 20, 35 und 65 stammen aus den Daten, die die IT mitgeschnitten hat.

Wenn ich der Meinung bin, dass diese Daten nicht mehr repräsentativ sind, kann ich sie mit Experteneinschätzungen kontrolliert überschreiben. Ich kann dann angeben, welche Werte aufgrund veränderter Umfeldbedingungen heute besser geeignet sind, die Situation zu beurteilen, als das, was wir im letzten und im vorletzten Jahr beobachtet haben.

Rückmeldung bei widersprüchlichen Angaben

Wenn ich bei diesen Experteneinschätzungen extreme Annahmen mache, bekomme ich im Zweifelsfall vom System eine Rückmeldung, dass es eine Inkonsistenz gibt. Die Parameter stehen dann in einem gewissen Widerspruch zueinander. Ein Beispiel: Das 5-%-Quantil liegt bei 20 Angriffen, und ich sage, der Median, also das 50-%-Quantil, liegt bei 22 Angriffen. Dann bekomme ich die Fehlermeldung, dass der Median zwischen 23,2 und 56,1 liegen muss, um mit 20 als 5-%-Quantil und 65 als 95-%-Quantil konsistent zu sein.

Abbildung 6 zeigt wieder den Dialog für Zelle F15. Im Feld Median steht die 22. Rechts unter den Feldern, wo sonst der aktuelle Wert der Funktion steht, steht jetzt „Es muss 23,17…“. Zeigt man mit der Maus darauf, erscheint die vollständige Meldung: „Es muss 23,1720445835834 < Median < 56,1020843590558 sein.“ Grafik und Tabelle rechts gehören in diesem Zustand nicht zu den Eingaben, die Kurve ist nur hell schraffiert.

Abbildung 6: Ein Median von 22 passt nicht zu 20 als 5-%-Quantil und 65 als 95-%-Quantil. Risk Kit meldet, dass der Median zwischen 23,2 und 56,1 liegen muss.

Ich kann also direkt darauf reagieren, um bessere Experteneinschätzungen zu bekommen.

Wann passt eine Expertverteilung?

Wir können festhalten: Die Expertverteilung erweitert den Horizont der Experteneinschätzungen qualitativ und auch quantitativ. Sie ist maßgeschneidert, um von Experten parametrisiert zu werden. Die Beispiele zeigen vor allem diese Fälle:

  • Die Größe kann in seltenen Fällen sehr weit ausschlagen, wie die Lieferzeit bei geschlossenem Suezkanal. Die PERT-Verteilung würde einen solchen langen Ausläufer viel zu oft annehmen, oder man müsste ihn abschneiden. Mit der Expertverteilung können wir den Verlauf der Verteilung gestalten.
  • Ein Minimum oder ein Maximum ist nicht bekannt oder nicht sinnvoll anzunehmen, wie bei der Angriffshäufigkeit. Mit einer PERT- oder Dreiecksverteilung müssten wir eine Obergrenze annehmen und kennen. Die Expertverteilung kann dagegen auf einer Seite oder auf beiden Seiten offen sein.
  • Es gibt Daten, aus denen sich Quantile ableiten lassen. Mit ihnen können wir die Situation einordnen, genau sehen, in welcher Größenordnung die Daten gelegen haben, und sie bei Bedarf mit Experteneinschätzungen kontrolliert überschreiben.
  • Die Parameter sollen leicht verständlich sein. Grenzen, Median und Quantile für einen guten und einen schlechten Fall kann sich ein Experte gut vorstellen.

Dazu kommt, dass wir vom System eine Rückmeldung bekommen, wenn wir widersprüchliche Werte eingegeben haben.

Wie simuliert man eine Expertverteilung in Excel?

Kurz gesagt: Risk Kit ist ein Add-in für Microsoft Excel, mit dem man Monte-Carlo-Simulationen direkt in der Tabelle aufbaut und auswertet. Was wir hier zeigen, gilt aber allgemein. Die Expertverteilung selbst steht in Risk Kit zur Verfügung und ist auch Teil des Enterprise Risk Explorers. Der Gedanke dahinter ist unabhängig vom Tool: eine unsichere Größe über Grenzen und Quantile zu beschreiben, die sich ein Experte gut vorstellen kann.

Wir bleiben beim Beispiel der Lieferzeiten. In unserer Tabelle stehen die Angaben in Spalte D: das Minimum 25 in Zelle D10, der wahrscheinlichste Wert 35 in D11, das Maximum 60 in D12 und die 120 Tage bei geschlossenem Suezkanal in D13. Die Lieferdauer soll in Zelle D15 entstehen. Wir gehen in fünf Schritten vor, so wie oben beschrieben:

  1. Zelle D15 auswählen, auf der Risk-Kit-Toolbar die Schaltfläche „Beliebt“ öffnen und die PERT-Verteilung auswählen. Im Eingabedialog verweisen Min auf D10, Mode auf D11 und Max auf D12, später auf D13 (Abbildungen 1 und 2).
  2. Unten links im Dialog auf den Pfeil neben dem kleinen Verteilungsbutton klicken und „Overlay hinzufügen“ wählen. In der Gruppe „Beliebt“ die Expertverteilung auswählen. Unter den Feldern der PERT-Verteilung erscheinen jetzt die Felder P, Lb, Q1, Median, Q2 und Ub (Abbildung 3).
  3. Die Parameter der Expertverteilung eintragen: P ist 5 %, Lb verweist auf D10, Q1 ist 27,97, der Median 35, Q2 verweist auf D12 und Ub auf D13 (Abbildung 4).
  4. Über denselben Pfeil „Entferne Pert_variate“ wählen. Dann steht nur noch die Expertverteilung im Dialog.
  5. Mit „Einfügen“ schreibt Risk Kit die Funktion Expert_variate mit diesen Parametern in Zelle D15.

Abbildung 7 zeigt den Dialog nach Schritt 4, kurz vor dem Einfügen. Die Titelzeile und die Beschreibung darunter nennen noch die PERT-Verteilung, die Felder, die Grafik und die Tabelle gehören aber bereits zur Expertverteilung. Weil sie jetzt die einzige Verteilung im Dialog ist, zeichnet Risk Kit sie als orange Fläche. In der Tabelle rechts lässt sich ablesen, was wir eingestellt haben: Das Minimum liegt bei 25 Tagen, das 5-%-Quantil bei 27,97, der Median bei 35, das 95-%-Quantil bei 60 und das Maximum bei 120 Tagen. Oberhalb von 60 Tagen liegen also nur noch 5 % der Fälle.

Abbildung 7: Der Eingabedialog für Zelle D15 kurz vor dem Einfügen. Die PERT-Verteilung ist entfernt, übrig ist die Expertverteilung mit den Parametern aus Abbildung 4.

Mehr dazu: Unser Fachartikel „Expert- und Poly-Verteilungen“ stellt die Expert-Verteilung zusammen mit den Poly-Verteilungen vor, die sich Experteneinschätzungen und Datenauswertungen gleichermaßen anpassen.

Weitere Verteilungen

Den Überblick über alle Verteilungen gibt unser Leitfaden „Wann nehme ich welche Verteilung?“.