Explainable AI – Vertrauen ist gut, Verständnis ist besser

Wenn Sie für die Entscheidung einer Maschine, die finanzielle, sicherheitsrelevante oder persönliche Interessen betrifft, zur Rechenschaft gezogen würden, würden Sie dieser Entscheidung blind vertrauen? Vermutlich nicht. Deshalb ist es wichtig, dass eine algorithmische Entscheidung um eine menschlich verständliche Erklärung erweitert wird, die eine Überprüfung der Sinnhaftigkeit erlaubt. Was dies konkret bedeutet, wird im Folgenden erörtert.

Wenn eine Unternehmung im Rahmen der digitalen Transformation daten- und algorithmenbasiert Prozesse optimieren möchte, ist es wichtig, dass der Einsatz dieser neuen Technologie von allen Stakeholdern akzeptiert wird. Diese Akzeptanz muss aktiv geschaffen werden. Ein ganz wesentlicher Teil hierbei ist es, Logik und Funktionsweise der algorithmischen Lösung zu veranschaulichen und nicht nur auf grundlegendes Vertrauen in digitale Prozesse per se zu setzen. Dies gelingt, wenn folgende Fragen klar und möglichst anschaulich beantwortet werden können:

• Welche Information gehen in den Algorithmus ein?
• Wie wird diese Information von den eingesetzten Algorithmen verarbeitet?
• Wie sehen die durch die künstliche Intelligenz identifizierten Regeln aus, auf deren Basis die KI eine Entscheidung trifft?
• Und ganz wichtig: Finden sich bereits aus der Praxis bekannte sachlogische Muster in diesen Regeln wieder?

Ganz zentral kommen bei der Beantwortung dieser Fragen Erkenntnisse und Methoden aus dem Bereich Explainable AI (XAI) zum Einsatz. Der vorliegende Artikel diskutiert, weshalb XAI unverzichtbar ist und welche Aspekte es umfasst. Er illustriert die Abhängigkeit zwischen Algorithmenwahl und Interpretierbarkeit und gibt eine Anleitung, wie sich hier ein optimaler Mix entsprechend der bestehenden digitalen Reife eines Unternehmens finden lässt.

Warum XAI?

Parallel zur zunehmenden Menge an erfassten Daten, die zur Steuerung von Prozessen und Geschäftsabläufen zur Verfügung stehen, kommen auch immer komplexere Algorithmen zum Einsatz. Bei vielen dieser Algorithmen handelt es sich um sogenannte Black-Box-Modelle, bei denen lediglich die in den Algorithmus einfließenden Daten und das darauf basierende Ergebnis (z.B. eine Produktempfehlung für eine individuelle Kundin oder eine Prognose über ihre Bereitschaft erneut ein Produkt zu erwerben) bekannt sind. Warum, also auf Basis welcher in den verwendeten Daten enthaltenen Information die entsprechende Empfehlung erfolgt, ist allerdings oft nicht nachvollziehbar und lässt alle am Prozess Beteiligten und Verantwortlichen verunsichert zurück. Da niemand digitale Prozesse verantworten und umsetzen möchte, deren Wirkungsweise nicht nachvollziehbar ist, stellt diese Intransparenz eine ernst zu nehmende Hürde auf dem Weg der digitalen Transformation dar.

Abbildung 1. Das XAI Konzept. Explainable AI (XAI) übersetzt traditionelle Black-Box-Modelle so, dass zusätzlich zur algorithmisch gefundenen Empfehlung diese auch transparent und nachvollziehbar wird. Damit wird der Anwender in die Lage versetzt, die Einflussgrößen und deren Wirkungsweise im verwendeten Algorithmus zu verstehen, was für die Akzeptanz und das Vertrauen in digitale Prozesse unabdingbar ist [1].

Mit der Lösung dieses Problems beschäftigt sich das Forschungsgebiet der Explainable AI (XAI), also der erklär- und interpretierbaren künstlichen Intelligenz. Zielsetzung hierbei ist, ein Interface zwischen Algorithmus und Nutzenden zu entwickeln, die das Nachvollziehen eines algorithmischen Vorschlags nicht nur ermöglicht, sondern darüber hinaus auch die Möglichkeit schafft, fehlerhafte Entscheidungen und Logiken zu erkennen und entsprechend zu korrigieren. Beispiele hierfür finden sich zuhauf, wie etwa die vermeintlich erfolgreiche Identifikation von Pferden auf Fotos, die in Wahrheit aber ausschließlich auf die in den Fotos enthaltene Quelleninformation zurückging. [2]

Abbildung 2. Identifikation und Relevanz von Einflussgrößen. Der für die Klassifikation von Fotos trainierte AI Algorithmus hat gelernt, dass die im Foto enthaltene Quelleninformation (im gelben Kasten) ein klares Indiz für das Vorliegen eines Pferdefotos ist. Das Pferd selbst wird vom Algorithmus als kaum relevante Information angesehen. Die Konsequenz ist, dass das selbe Motiv nach Entfernen der Quellenangabe nicht mehr als Pferdefoto erkannt wird. Umgekehrt führt das Hinzufügen der Quelleninformation in einem anderem BIld dazu, dass dieses unabhängig vom tatsächlichen Motiv als Pferdebild klassifiziert wird. [2]

Was zeichnet ein gutes XAI Interface aus?

Diese Frage soll anhand eines Beispiels aus der INWT Praxis illustriert und beantwortet werden. Für einen Klienten aus dem Online-Bereich haben wir einen Algorithmus entwickelt und kalibriert, der für die Bestandskunden des Unternehmens prognostiziert, ob und wann diese erneut einen Kauf tätigen werden. Damit dieser Algorithmus keine Black-Box darstellt, muss er auf drei Ebenen interpretierbar sein und folgende Fragenkomplexe beantworten:

1. Relevanz der Einflussgrößen

Welche in den Algorithmus einfließenden Informationen sind wichtig? In welchem Maße beeinflussen z.B. Geschlecht, Alter oder die Zeit seit dem letzten getätigten Kauf die Kaufwahrscheinlichkeit?

Abbildung 3. Beispiel für Relevanz der Einflussgrößen. Maßgeblich für die Kaufentscheidung sind die Preise der Wettbewerber, die Nutzungsintensität des Produkts und die Region, in der der potenzielle Kunde wohnt. Zu beachten ist, dass die ermittelte Relevanz einer Einflussgröße noch keine Aussage über deren Wirkungsrichtung erlaubt, also ob z.B. die Kaufwahrscheinlichkeit mit höherer Nutzungsintensität steigt oder fällt.

2. Wirkungsrichtung

Wie sehen Einfluss und Wirkungsweise der als relevant identifizierten Daten genau aus? Haben Frauen oder Männer die höhere Kaufbereitschaft? Nimmt diese mit zunehmendem Lebensalter ab oder zu? Nach welcher Zeitspanne im Anschluss an einen bereits getätigten Kauf steigt die Kaufbereitschaft wieder, gibt es ein Optimum?

Abbildung 4. Beispiel für Wirkungsrichtung. Betrachtet man den Einfluss des Alters eines Kunden beziehungsweise einer Kundin, so erkennt man, dass die Kaufwahrscheinlichkeit bei sehr jungen und sehr alten Konsumierenden deutlich erhöht ist. Konsumierende im Altersbereich 30 bis 60 Jahre fühlen sich durch das Produkt deutlich weniger zum Kauf veranlasst.

3. Nachvollziehbarkeit

Aufgrund welcher Datenpunkte wurde für einen konkreten Fall die konkrete Empfehlung ausgesprochen? Inwieweit haben das Lebensalter von 45 Jahren, die Tatsache, dass es sich um einen männlichen Kunden handelt, und die 42 Tage seit dem letzten Kauf die prognostizierte Kaufwahrscheinlichkeit beeinflusst?

Abbildung 5. Beispiel für Nachvollziehbarkeit. Möchte man für einen konkreten Konsumierenden nachvollziehen, wie die AI Prognose zustande kommt, müssen die Erkenntnisse aus (1) und (2) für die entsprechende Person ermittelt und bilanziert werden. Man sieht im Beispiel, dass sich die prognostizierte Wahrscheinlichkeit von 14% als Nettoeffekt aller berücksichtigten Effekte ergibt. Beim konkret betrachteten Kunden sind der Preis, die Region und ein möglicher Bonus die stärksten Treiber für einen Kauf, wohingegen Alter und bestehende Vertragsdauer die Kaufwahrscheinlichkeit verringern.

Die beiden ersten Punkten gehören zu den globalen makroskopischen Eigenschaften eines Algorithmus, wohingegen in Punkt 3 die lokale mikroskopische Funktionsweise verstanden sein möchte. Es ist offensichtlich, dass diese drei Perspektiven unverzichtbar sind: nur in Kombination versetzen sie den Anwender in die Lage, die identifizierte Funktionsweise des Algorithmus sachlogisch zu hinterfragen und die Ergebnisse zu plausibilisieren. Dadurch ist es zum einen möglich, Zusammenhänge, die lediglich korreliert nicht aber kausal sind - man denke an das obige Beispiel zur Quelleninformation in Fotos, herauszuarbeiten und aus dem Modell zu entfernen. Zum anderen wird verhindert, dass evtl. in den Daten noch enthaltene, diskriminierende Einflussfaktoren unbemerkt vom Algorithmus verwendet werden.

Benötigt man immer XAI? Wie sieht die konkrete Ausgestaltung aus?

Die konkrete Ausgestaltung des XAI Interfaces hängt auch vom konkret verwendeten Algorithmus ab. Bestimmte Klassen von Algorithmen, wie z.B. einfache Entscheidungsbäume und Regressionsmodelle, bieten per se die Möglichkeit, die oben diskutierten Fragen direkt zu beantworten. Modellklassen wie Deep Learning und neuronale Netze oder Ensembles, die aus hunderten bis tausenden Einzelmodellen bestehen, bieten diese Möglichkeit nicht, sind aber oftmals in Bezug auf die Prognosegüte den einfacheren Modellen überlegen. Den generellen Trade-Off zwischen direkter Interpretierbarkeit und Prognosegüte veranschaulicht die folgende Abbildung:

Abbildung 6. Trade-Off zwischen Interpretierbarkeit und Prognosegüte. Deep Learning Modelle und Ensembles sind aktuell unter dem Aspekt der Prognosegüte führend, aber schwer interpretierbar, wohingegen einfachere Modelle bessere Interpretierbarkeit bieten, aber bei deren Verwendung Abstriche bzgl. der Prognosegüte in Kauf genommen werden müssen. Mittels zusätzlicher XAI Interfaces gewinnen Modellklassen im oberen linken Bereich an Interpretierbarkeit. [3]

Vor allem Modellklassen, die im oberen linken Teil der Abbildung verortet sind, benötigen ein zusätzliches XAI Interface, da hier eine unmittelbare Interpretierbarkeit nicht gegeben ist.

Um zu ermitteln, welche XAI Lösung für eine konkrete Fragestellung optimal ist, bietet es sich an, mehrere Realisierungsoptionen miteinander zu vergleichen:

Abbildung 7. Optimale Positionierung im Spannungsfeld Interpretierbarkeit und Prognosegüte. Um zu ermitteln, welcher AI Algorithmus unter den Aspekten Interpretierbarkeit und Prognosegüte am besten für den konkreten Einsatz geeignet ist, bietet es sich an, mehrere Algorithmen zu trainieren und miteinander zu vergleichen. In diesem Rahmen können direkt interpretierbare Algorithmen und Black-Box-Algorithmen mit XAI Interface getestet werden. Im Falle zu hoher Komplexität bietet sich eine Reduktion der Komplexität durch weitere Vereinfachungen mit Hilfe einer Approximation an. Die verschiedenen Lösungen können abschließend miteinander verglichen und beurteilt werden, um zu entscheiden, welche Lösung den Anforderungen an Transparenz und Güte am besten genügt.

Durch den Abgleich der verschiedenen Realisierungsoptionen können Gemeinsamkeiten identifiziert und es kann der konkrete Trade-Off zwischen Interpretierbarkeit und Modellgüte ermittelt werden, was die Basis für die Festlegung auf die optimale datengetriebe Lösung darstellt.

Fazit

Um algorithmenbasierte Entscheidungen im Rahmen der digitalen Transformation zur Prozessoptimierung erfolgreich zu verwenden, ist ein grundlegendes Verständnis der zugrunde liegenden AI Algorithmen notwendig. Mittels XAI kann deren Funktionsweise auf allen relevanten Ebenen transparent und verständlich gemacht werden. Unterschiedlichen Anforderungen und Bedürfnissen im Spannungsfeld accuracy vs interpretability kann maßgeschneidert begegnet werden. Mittels eines klar strukturierten und anpassbaren Prozesses ist es möglich, die Voraussetzungen für die erfolgreiche und akzeptierte Anwendung von Algorithmen zu schaffen.

Über den Autoren

Dr. Steffen Wagner ist Mitgründer und Senior Data Scientist bei INWT Statistics. Er beschäftigt sich schwerpunktmäßig mit den Themen Predictive Analytics, Online Marketing und Customer Relationship Management.

Literatur

[1] David Gunning und David W. Aha. DARPA's Explainable Artificial Intelligence (XAI) Program. AI Magazine, 40(2), 2019. https://doi.org/10.1609/aimag.v40i2.2850

[2] Sebastian Lapuschkin et al. Unmasking clever hans predictors and assessing what machines really learn. Nature communications, 10(1), 2019. https://www.nature.com/articles/s41467-019-08987-4

[3] Alejandro Barredo Arrieta et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 58, 2020. https://www.sciencedirect.com/science/article/pii/S1566253519308103

[4] Derek Doran, Sarah Schulz und Tarek R. Besold. What does explainable AI really mean. A new conceptualization of perspectives, 2017. https://arxiv.org/abs/1710.00794

[5] Riccardo Guidotti et al. A survey of methods for explaining black box models. ACM computing surveys (CSUR), 51(5), 2018. https://dl.acm.org/doi/abs/10.1145/3236009