Forecast Accuracy messen: MAPE, Bias und welche Kennzahl im FMCG trägt

Im Monatsreport steht „Forecast Accuracy: 78 %“. Ist das ein gutes Ergebnis? Ohne die angewandte Formel und den Messkontext lässt sich das kaum beurteilen. Selbst bei identischen Absatzdaten können verschiedene Fehlermaße stark voneinander abweichen. Hier erfahren Sie, wann die Kennzahlen MAPE, WAPE und der zugehörige Bias tragen und welche Angaben für einen fairen Vergleich nötig sind.

Wichtig: Eine Angabe wie 78 Prozent ist erst interpretierbar, wenn ihre Berechnungsformel bekannt ist. MAPE und WAPE beziffern den Fehler, nicht unmittelbar die Genauigkeit.

MAPE, WAPE und Bias: welche Kennzahl was misst

Drei Kennzahlen kommen für die Güte einer Absatzprognose in Frage. Sie beantworten verschiedene Fragen, und deshalb ist die Wahl zwischen ihnen keine Geschmacksfrage.

MAPE und WAPE beantworten dieselbe Frage, nämlich wie weit die Prognose danebenlag. Sie unterscheiden sich darin, wie sie die einzelnen Artikel gegeneinander verrechnen, und genau daraus entstehen aus demselben Sortiment zwei sehr verschiedene Zahlen. Bias beantwortet eine andere Frage: ob die Prognose immer in dieselbe Richtung danebenlag. Die ersten beiden können das nicht zeigen, weil sie mit Beträgen rechnen und das Vorzeichen dabei verlieren.

Alle drei beziffern damit den Fehler, nicht die Genauigkeit. Die geläufige Umrechnung „100 minus Fehlerquote“ ist eine Konvention und keine Definition: Sie bricht, sobald die Fehlerquote über 100 Prozent liegt, was bei kleinen Mengen vorkommt. Hyndman und Athanasopoulos führen MAPE denn auch als mean absolute percentage error, also ausdrücklich als Fehlermaß.

Die folgenden Abschnitte gehen die drei der Reihe nach durch: zuerst MAPE mit seinen beiden rechnerischen Grenzen, dann die Frage, warum dieselbe Prognose je nach Messanordnung verschiedene Werte liefert, und darin WAPE und Bias an der Stelle, an der man sie braucht.

Was ein MAPE-Wert aussagt, und wo er rechnerisch bricht

MAPE ist die naheliegende Wahl, weil er einheitenfrei ist und sich deshalb über Artikel mit ganz unterschiedlichen Mengen hinweg vergleichen lässt. Zwei Eigenschaften der Formel schränken das ein, und beide betreffen im FMCG-Sortiment keine Randgruppe.

Prognosegenauigkeit im Absatz mit MAPE berechnen, und wo die Formel bricht

Der Prognosefehler ist die Differenz zwischen Ist-Wert und Prognose. Für diesen Artikel gilt durchgehend: Fehler gleich Ist minus Prognose. Ein positiver Fehler bedeutet also Unterprognose, ein negativer Überprognose.

MAPE nimmt den Betrag dieser Abweichung, teilt ihn durch den Ist-Wert und mittelt über alle Perioden. Im Nenner steht damit der Ist-Wert, und genau dort liegt der Bruch: Ist er null, ist der Term undefiniert. Hyndman und Athanasopoulos formulieren es so: „Measures based on percentage errors have the disadvantage of being infinite or undefined if y_t=0 for any t.“

Das ist kein Sonderfall, sondern der Ausschluss ganzer Artikelgruppen. Ein Sortiment mit mehreren tausend Artikeln enthält auf Tagesebene regelmäßig Positionen ohne jeden Verkauf, während dieselbe Woche in Summe völlig unauffällig aussieht. Der M5-Wettbewerb, ausgetragen auf echten Einzelhandelsdaten aus 3.049 Artikeln und zehn Filialen, beschreibt seine Datenbasis mit genau dieser Eigenschaft: „The M5 series are characterized by intermittency, involving sporadic unit sales with lots of zeros.“ Die Veranstalter haben sich deshalb gegen ein prozentuales Fehlermaß entschieden und eines gewählt, das sich „safely“ rechnen lässt, weil es nicht durch Werte teilt, die null sein können.

Eine Null in der Historie ist dabei nicht gleich einer anderen. Ob an diesem Tag niemand gefragt hat oder ob der Artikel nicht verfügbar war, sind zwei verschiedene Sachverhalte, die beide als Null im System stehen. Wie sich das eine vom anderen trennen lässt, behandelt der Artikel zur Stockout-Verzerrung in der Absatzhistorie.

Dahinter steht ein Vorbehalt, der für jedes Fehlermaß gleichermaßen gilt: Der Ist-Wert in Ihrem System ist der gebuchte Absatz, nicht die Nachfrage. Bei Teilbelieferungen steht dort die gelieferte Menge, bei Substitution wandert der Absatz zum Ersatzartikel, und ob Kommissions- oder Streckengeschäft überhaupt in derselben Auswertung landet, hängt an der Buchungslogik. Keiner dieser Fälle spricht für oder gegen eine bestimmte Kennzahl, aber alle begrenzen, was eine noch so saubere Messung aussagen kann.

Warum MAPE zu niedrigen Prognosen neigt

Die zweite Eigenschaft folgt aus derselben Formel und wird seltener bemerkt. Sie betrifft nicht die Bestrafung einer einzelnen Abweichung, sondern den Wertebereich: Bei positiven Ist-Werten und nichtnegativen Prognosen kann die Prognose nach unten höchstens auf null fallen, der Fehlerbeitrag ist damit auf 100 Prozent gedeckelt. Nach oben gibt es keine solche Grenze.

Die ersten beiden Zeilen zeigen, worin die Asymmetrie nicht besteht: Dieselbe absolute Abweichung von zehn Stück kostet in beide Richtungen 100 Prozent. Ungleich ist erst, was jenseits davon möglich ist.

Tofallis (2015) gibt dafür die Erklärung von Lo und Gao wieder: „for strictly positive data, the range for under-prediction is bounded at zero, whilst that for over-prediction is not“. Seine eigene Schlussfolgerung betrifft die Parameterschätzung: „using MAPE as a fitting criterion results in a majority of predictions being too low“. Für die bloße Modellauswahl formuliert er schwächer, das Problem bleibe bestehen, weil Modelle mit zu niedrigen Prognosen bevorzugt würden. Bei strikt positiven Daten zieht die Optimierung auf MAPE die Prognose also nach unten.

Ob das schadet, hängt vom Sortiment ab. Wo Überbestand Abschriften erzeugt, weil die Restlaufzeit begrenzt ist, kann eine Neigung zur Unterprognose sogar erwünscht wirken. Verlässlich ist sie trotzdem nicht, weil sie aus der Kennzahl stammt und nicht aus einer Abwägung zwischen Abschriften und Fehlmengen, die jemand bewusst getroffen hat.

Warum dieselbe Prognose je nach Messanordnung verschiedene Werte für Forecast Accuracy liefert

Dieselben Prognosen und dieselben Ist-Werte ergeben je nach Messanordnung verschiedene Zahlen, und zwar ohne dass eine davon falsch gerechnet wäre. Fünf Angaben entscheiden darüber: Aggregationsebene, Fehlermaß, Prognosehorizont, Auswertungszeitraum und die Prognosefassung, die damals vorlag.

Derselbe Fehler, zwei Fehlerquoten

Nehmen Sie zwei Artikel aus demselben Sortimentsbericht, einen Schnelldreher und einen Langsamdreher.

Der ungewichtete Mittelwert gibt dem Langsamdreher dasselbe Gewicht wie dem mengenstarken Artikel, obwohl dieser 99,8 Prozent der Menge stellt. WAPE, der gewichtete absolute Prozentfehler, summiert stattdessen alle absoluten Abweichungen und teilt durch die Summe aller Ist-Werte. Hewamalage, Ackermann und Bergmeir (2022) beschreiben den Vorteil: Weil mehrere Perioden in den Nenner eingehen, ist das Maß „undefined only when the total of all the actual values corresponding to the forecast horizon are zero“, und es werde „generally more preferred in application scenarios than MAPE“.

Drei Grenzen gehören dazu. Erstens reagiert auch WAPE auf Ausreißer; dieselben Autoren halten fest, dass die Probleme mit Extremwerten „are possible with WAPE too“. Zweitens ist er undefiniert, wenn die Summe der Ist-Werte null ist, was bei einer einzelnen Warengruppe in einer schwachen Woche vorkommen kann; gerechnet wird dabei über die Beträge, sonst können Retouren und Storni die Summe rechnerisch gegen null ziehen, obwohl Bewegung stattgefunden hat. Drittens lassen sich Stückzahlen verschiedener Artikel nur summieren, wenn die Einheiten vergleichbar sind; eine Flasche neben einer Palette ergibt keinen sinnvollen Nenner. Und weil in Stück gewichtet wird, entscheidet die Menge und nicht der Wert: Ist der Langsamdreher der teurere Artikel, verschwindet sein Beitrag trotzdem hinter dem des Schnelldrehers. Wer nach wirtschaftlicher Bedeutung messen will, gewichtet mit dem Wert.

Eine Kennzahl, auf die sich die Fachliteratur als die richtige geeinigt hätte, gibt es nicht. Je nach Autor und Fragestellung werden WAPE, MASE oder relative Fehlermaße empfohlen, und die Begründungen widersprechen sich teilweise. Die Wahl folgt deshalb aus der Frage, die beantwortet werden soll: Geht es um die Steuerung einzelner Artikel, um die Leistung eines Sortiments oder um den Vergleich zweier Verfahren?

Warum die Aggregationsebene die Zahl verschiebt

Petropoulos, Grushka-Cockayne, Siemsen und Spiliotis (2023) haben die Ergebnisse des M5-Wettbewerbs daraufhin ausgewertet. Die siegreiche Einreichung lag über zwölf Auswertungsebenen hinweg um 22,4 Prozent vor dem besten Vergleichsverfahren; auf der feinsten Ebene, also Artikel je Filiale, schrumpfte dieser Vorsprung auf 3,4 Prozent. Beide Zahlen sind relative Vorsprünge gegenüber einem Vergleichsverfahren, keine Genauigkeitswerte und keine Prozentpunkte. Sie sagen nichts über den Prognosehorizont, der im Wettbewerb fest bei 28 Tagen liegt.

Kolassa (2008) liest denselben Zusammenhang aus Umfragedaten ab: „forecast accuracy improves as sales are aggregated: forecasts are better on an aggregate level than on a category level and better on a category level than for SKUs.“ Er hält die Datengrundlage dieser Auswertung im selben Absatz ausdrücklich für problematisch, was die Richtung der Aussage nicht umkehrt, ihren Rang aber begrenzt. Für die Praxis heißt das, dass eine Zahl aus dem Konzernbericht und eine aus der Filialauswertung nicht dasselbe messen, auch wenn beide „Forecast Accuracy“ heißen. Der Effekt hat auch eine sachliche Seite: Weicht ein Kunde auf einen Ersatzartikel aus, bestraft die artikelweise Messung beide Artikel, einmal für die Unter- und einmal für die Überprognose, während die Warengruppe in Summe richtig prognostiziert war. Wer über mehrere Standorte disponiert, hat beide Zahlen im Haus und sollte sie getrennt halten.

Horizont, Auswertungszeitraum und Prognosefassung

Dieser Teil der Messanordnung wird am leichtesten übersehen und verändert die Zahl am stärksten.

Der Horizont. Eine Prognose für morgen und eine für den Tag in vier Wochen sind nicht dieselbe Aufgabe. Der M5-Wettbewerb schreibt den Horizont deshalb fest, dort auf 28 Tage. Daraus folgt keine Behauptung, die Genauigkeit falle mit längerem Horizont monoton; in Kolassas Umfragedaten zeigt sich das gerade nicht durchgängig, was seine These der Unvergleichbarkeit stützt. Tragfähig ist die logische Aussage: Zwei Zahlen sind nur vergleichbar, wenn derselbe Horizont dahintersteht. Welcher der richtige ist, folgt aus der Dispositionsaufgabe: Der Horizont muss die Wiederbeschaffungszeit plus das Überprüfungsintervall abdecken, weil so weit im Voraus entschieden werden muss. Wer täglich bestellt und morgen beliefert wird, braucht deshalb einen kurzen Horizont; wer wöchentlich disponiert oder Importware mit sechs Wochen Lieferzeit führt, einen entsprechend langen, auch wenn er täglich bestellt.

Der Auswertungszeitraum. Welche Perioden gehen in die Rechnung ein? Ein Quartal mit zwei Aktionswochen liefert eine andere Zahl als eines ohne, und ein Zielwert aus dem Sommerhoch gilt im Januar nicht.

Die Prognosefassung. Gemessen wird gegen die Prognose, die damals vorlag, mit ihrem Erstellungszeitpunkt. Hyndman und Athanasopoulos trennen das ausdrücklich: „forecast errors are different from residuals in two ways. First, residuals are calculated on the training set while forecast errors are calculated on the test set“, und weiter: „the size of the residuals is not a reliable indication of how large true forecast errors are likely to be.“

Praktisch bedeutet das: Eine täglich aktualisierte Prognose erzeugt nicht von selbst eine faire Messreihe. Wer heute rückblickend misst und dabei die inzwischen mehrfach überschriebene Prognose verwendet, misst zu gut, weil in dieser Fassung bereits Informationen stecken, die zum Prognosezeitpunkt nicht vorlagen. Frühere Prognosefassungen müssen also mit ihrem Erstellungszeitpunkt aufbewahrt werden, sonst ist die Messung nicht reproduzierbar.

Forecast Bias: was kein absolutes Fehlermaß zeigt

Alle bisher genannten Maße arbeiten mit Beträgen. Wallström (2009) benennt die Folge: „The previously presented error measures do not have the ability to reveal if there is a systematic error (bias) since the sign of an individual error is removed with either the absolute operation or the quadratic operation.“ Ein Sortiment kann einen guten WAPE haben und trotzdem strukturell zu niedrig liegen.

Die Rechenvorschrift ist einfach und gehört in denselben Bericht. Fehler gleich Ist minus Prognose, Vorzeichen behalten, dann über die Perioden aufsummieren oder mitteln. Ist es dauerhaft positiv, liegt eine Unterprognose vor, ist es dauerhaft negativ, eine Überprognose.

Ein Wert nahe null ist dagegen kein Freispruch: Bei der Summe hängt „nahe null“ von der Anzahl der Perioden und der Absatzhöhe ab, und gegenläufige Perioden können sich zufällig aufheben. Aussagekräftig wird die Größe deshalb erst im Verlauf: Ein kumulierter Fehler, der über Monate in dieselbe Richtung wächst, zeigt einen Versatz, den ein einzelner Stichtagswert verbergen kann. Hyndman und Athanasopoulos stützen das über die Residuendiagnostik: „The innovation residuals have zero mean. If they have a mean other than zero, then the forecasts are biased.“

Die häufigste Ursache eines Versatzes ist ein Ereignis, das die Prognose nicht kennt. Eine Aktion, die im System nicht als solche hinterlegt ist, zieht den Fehler über die gesamte Aktionswoche in dieselbe Richtung. Die zweite Ursache sind manuelle Eingriffe. Fildes, Goodwin, Lawrence und Nikolopoulos (2009) haben über 60.000 Prognose-Ist-Paare aus vier Lieferkettenunternehmen ausgewertet: In drei der vier Unternehmen verbesserten manuelle Anpassungen die Genauigkeit im Mittel, kleinere Anpassungen schadeten jedoch häufig, und Aufwärtskorrekturen verbesserten die Prognose deutlich seltener als Abwärtskorrekturen. Wie sich Bias im laufenden Planungsprozess einordnen lässt, behandelt der Artikel zum Demand Planning im Mittelstand.

Warum der Zielwert zunächst von innen kommt

Für diesen Artikel liegt kein frei zugänglicher, aktueller und methodisch vergleichbarer FMCG-Zielwert vor. Deshalb wird zunächst ein eigener Ausgangswert unter unveränderter Messanordnung dokumentiert.

Kolassa hält veröffentlichte Umfragen für ungeeignet, um daraus Vergleichswerte abzuleiten: „Published surveys of forecast accuracy are not suitable as benchmarks because of incomparability in product, process, time frame, granularity, and key performance indicators.“ Erhebungen existieren, sie sind aber nicht frei zugänglich, und ihre Teilnehmer wählen sich selbst aus.

Das entwertet Orientierungswerte nicht, es ordnet sie ein. Unser Artikel zur Absatzprognose im Mittelstand nennt einen MAPE unter 20 Prozent bei stabilen Artikeln als gut und über 40 Prozent als Signal für methodischen Handlungsbedarf, und er bezeichnet beide Werte ausdrücklich als keine universellen Schwellen. Sie gelten für stabile Artikel, also gerade nicht für die Gruppen, bei denen MAPE nach dem ersten Abschnitt dieses Artikels ohnehin bricht. Welche Artikel in welche Gruppe fallen, lässt sich über eine ABC-XYZ-Analyse bestimmen.

Was Software an der Messung der Forecast Accuracy ändert, und was nicht

Zuerst die Grenze: Circly liefert die Prognose. Welche Kennzahl berichtet wird, welche Messanordnung gilt und welcher Zielwert angesetzt wird, bleibt eine Entscheidung des Unternehmens. Die Messung selbst setzt außerdem voraus, dass frühere Prognosefassungen mit ihrem Erstellungszeitpunkt in Ihrer Systemlandschaft erhalten bleiben; das ist eine Anforderung an die Ablage, nicht an das Prognoseverfahren.

Wo Software ansetzt, ist die Datenbasis. Circly Absatzprognosen ziehen täglich die aktuellen Verkaufsdaten aus dem bestehenden ERP und berechnen daraus Prognosen auf Artikelebene, unter Einbeziehung von Saisonalität, Kalendereffekten, Feiertagen und Aktionsmustern. Wenn das ERP die nötigen Verfügbarkeitsdaten liefert und diese entsprechend verarbeitet werden, lassen sich Fehlbestandsperioden von echter Nullnachfrage unterscheiden. Das betrifft genau den Unterschied zwischen den beiden Sorten von Nullen aus dem ersten Abschnitt.

Für die Bias-Frage ist eine zweite Eigenschaft wichtiger: Circly schlägt vor, der Disponent entscheidet. Weil systematische Versätze häufig an manuellen Eingriffen hängen, ist es für die Messung wesentlich, dass diese Eingriffe als solche erkennbar bleiben. In Circly Absatzplanung bleibt der ursprüngliche KI-Wert neben dem Planwert sichtbar und jede Änderung im Audit-Log nachvollziehbar.

Fazit

Legen Sie zuerst die Messanordnung für Ihre Forecast Accuracy fest und schreiben Sie sie auf: Aggregationsebene, Fehlermaß, Horizont, Auswertungszeitraum und wie frühere Prognosefassungen aufbewahrt werden. Ohne diese fünf Angaben ist jede Kennzahl ein Zahlenwert ohne Aussage, und jeder Vergleich mit einer fremden Zahl geht ins Leere.

Messen Sie dann Ihren eigenen Ausgangswert unter genau dieser Anordnung, und stellen Sie ein Richtungsmaß daneben. Erst wenn beides über mehrere Perioden unverändert gerechnet wird, ist eine Veränderung der Zahl überhaupt deutbar, und erst dann lohnt die Diskussion darüber, welcher Wert gut genug ist.

Weiterführende Quellen

1. Hyndman, R.J. & Athanasopoulos, G.: Forecasting: Principles and Practice (3rd ed), 5.8 Evaluating point forecast accuracy

2. Hyndman, R.J. & Athanasopoulos, G.: Forecasting: Principles and Practice (3rd ed), 5.4 Residual diagnostics

3. Hewamalage, H., Ackermann, K. & Bergmeir, C. (2022): Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices

4. Tofallis, C. (2015): A better measure of relative prediction accuracy for model selection and model estimation

5. Wallström, P. (2009): Evaluation of forecasting techniques and forecast errors, with focus on intermittent demand

6. Petropoulos, F., Grushka-Cockayne, Y., Siemsen, E. & Spiliotis, E. (2023): Wielding Occam’s razor: Fast and frugal retail forecasting

7. The M5 Competition (2020): Competitors’ Guide

8. Kolassa, S. (2008): Can we obtain valid benchmarks from published surveys of forecast accuracy?, Foresight 11

9. Fildes, R., Goodwin, P., Lawrence, M. & Nikolopoulos, K. (2009): Effective forecasting and judgmental adjustments: An empirical evaluation and strategies for improvement in supply-chain planning

FAQ