Anmeldung Newsletter

Predictive Modelling während der Corona-Krise

Posted by Julius Graage on 11.06.2020 10:49:48

Über die Performance von Predictive Models während der Corona-Krise

 

In Folge der Corona-Krise kommt immer wieder zurecht die Frage auf, wie sich diese Krise auf die Performance der durch unsere Software erstellten Modelle auswirkt. Diese Frage kann nicht allgemeingültig beantwortet werden, da die Corona-Krise sehr unterschiedliche Auswirkungen auf bestimmte Branchen und Geschäftsmodelle hat. Um dennoch mögliche Auswirkungen abschätzen zu können, werden im folgenden verschiedene Szenarien und deren Auswirkungen auf die Prognosegüte beschrieben. Dabei wird zwischen Auswirkungen während der Krise und Auswirkungen nach der Krise differenziert. Des Weiteren wird beschrieben, wie mit Hilfe von sogenannten Backtests schnell und einfach die Auswirkungen auf die Prognosegüte bestimmt werden können.

Während der Krise

Szenario 1: Homogener Effekt auf das gesamte Geschäft
Das Geschäft ist weitestgehend homogen durch die Corona-Krise betroffen. Das bedeutet, dass sich das Kaufverhalten aller Kunden in gleichem Maße über alle Produkte und Kanäle verändert hat.
Sollte dies der Fall sein wird die absolute Höhe der Conversion- und Umsatzprognose stärker von den tatsächlichen Werten abweichen, als dies üblicherweise der Fall ist. Allerdings sind die Modelle weiterhin in der Lage zwischen guten und schlechten Kunden zu differenzieren, sodass bei der Selektion von Kampagnen weiterhin die besten Kunden selektiert werden können.

Szenario 2: Heterogener Effekt auf das gesamte Geschäft
Das Geschäft ist in Abhängigkeit von z.B. bestimmten Produktgruppen oder Kundengruppen unterschiedlich durch die Corona-Krise betroffen.
In diesem Fall wird auch hier die absolute Höhe der Prognose stärker als üblich von den tatsächlichen Werten abweichen. Darüberhinaus ist aber auch die Fähigkeit der Modelle zwischen guten und schlechten Kunden zu differenzieren beeinträchtigt. Wie stark dieser Effekt ist, ist abhängig von der Heterogenität in der Veränderung des Konsumverhaltens.

Nach der Krise

Szenario 1: Rückkehr zum bisherigem Konsumverhalten
Die Kunden kehren nach der turbulenten Phase der Corona-Krise zu ihrem Konsumverhalten zurück und verhalten sich genauso, wie sie es vor der Krise getan haben.
Die Modelle, die vor der Krise erstellt wurden, können wieder wie gewohnt eingesetzt werden. Der Zeitraum der Corona-Krise sollte bei der Erstellung neuer Modelle für die Modellierung ausgeschlossen werden, sodass keine “falschen” Muster das Training der neuen Modelle verzerren.


Szenario 2: Dauerhafte Veränderung des Konsumverhaltens
Durch die Corona-Krise kommt es zu einer dauerhaften Veränderung des Konsumverhaltens der Kunden, weil z.B. bestimmte Produkte dauerhaft nicht mehr nachgefragt werden.
In diesem Fall muss geprüft werden, inwieweit die bestehenden Modelle weiterhin verwendet werden können.

Alle hier beschriebenen Auswirkungen gelten sowohl für die Verwendung von Machine Learning Modellen als auch für Verwendung von Heuristiken wie z.B. RFM.

Test der Prognosegüte

Zur Prüfung der Auswirkungen auf die Prognosegüte (Genauigkeit der Prognose und Fähigkeit zwischen guten und schlechten Kunden zu differenzieren) kann ein sogenannter Backtest genutzt werden. Ein Backtest ist ein Prognosemodell, das auf historische Daten angewendet wird. Damit kann man leicht testen, wie das Modell bei einem zukünftigen Einsatz performen wird. Der Backtest bietet eine risikofreie Möglichkeit den Effekt der Corona Krise auf die Prognosegüte zu bestimmen. Sollte der Backtest zeigen, dass die Differenzierfähigkeit des Modells beeinträchtigt ist, besteht die Möglichkeit durch ein Aufteilen des Modells in mehrere Untermodelle den negativen Effekt auf die Prognosegüte zu verringern. Die Verbesserung des Modell-Ensembles gegenüber dem Einzelmodell kann auch wieder über Backtests getestet werden.

Über unsere Kunden hinweg beobachten wir zur Zeit die folgenden Effekte:

              1. - Die Prognosen funktionieren für viele Kunden insbesondere in der jetzigen      Phase der langsamen Normalisierung weiterhin verlässlich.

              2. - Kunden die besonders stark von der Corona-Krise betroffen sind/waren,          haben es geschafft durch neue Use Cases und speziell dafür erstellte              Modelle Potentiale zu heben, die ohne Modelle nur sehr schwer zu                    identifizieren gewesen wären.

Fazit

Unser Fazit aus unseren bisherigen Beobachtungen ist, dass in vielen Fällen die Modelle weiterhin gut funktionieren und in Bereichen mit starken Veränderungen oftmals Modelle erstellt werden können, die trotz der gegeben Situation eine für den Use Cases notwendige Bewertung der Kunden zulassen, bzw. einen neuen Use Case ermöglichen. Wie auch vor der Corona-Krise ist die Identifikation des richtigen Use Cases der wichtigste Erfolgsfaktor.

Wenn Sie Fragen zu Predictive Modelling während und nach der Corona-Krise haben, sprechen Sie uns gerne unten übers Formularfeld an.

 

Topics: Machine Learning, AI, CRM, Corona-Krise, GültigkeitvonModellen

SOMETHING TO SAY?