Fraunhofer-Institut für Hochfrequenzphysik und Radartechnik FHREine automatische und smarte Auswertung von Daten wird in vielen Bereichen gebraucht. Üblicherweise setzt man dazu auf Künstliche Intelligenz, die wiederum vielfach auf Neuronalen Netzen basiert. Was diese bei ihrer Entscheidungsfindung allerdings genau tun, ist in den meisten Fällen unbekannt. Das Fraunhofer FHR untersucht nun die Prozesse, die bislang im Verborgenen lagen und für Anwender oft schwer nachvollziehbar waren.
Künstliche Intelligenz und Neuronale Netze sind Trendthemen, die sich durch zahlreiche Bereiche ziehen – von der Mobilität über Produktionsprozesse bis hin zur Verteidigung. Schließlich werden die erhobenen Datenmengen zunehmend größer, daher ist stetig mehr Unterstützung bei ihrer Auswertung nötig. Zwar liefern die Neuronalen Netze meist gute Ergebnisse, doch: Üblicherweise ist nicht bekannt, wie sie zu diesen Ergebnissen kommen - sie gleichen einer Black Box. Mitunter stützen sie sich auf unwichtige Informationen im Bild – so analysierten die Neuronalen Netze in einem in der Wissenschaftsliteratur beschriebenen Projekt, bei dem es um die Klassifikation von Schiffen geht, nicht die Schiffe selbst, sondern ausschließlich das Wasser im Bild!
Für Kunden, die auf verlässliche KI-Anwendungen angewiesen sind, stellt sich daher eine zentrale Frage: Tun die Neuronalen Netzwerke das, was sie tun sollen? Sind ihre Ergebnisse also verlässlich?
Erklärbare KI für nachvollziehbare Entscheidungen
Diesen Fragen gehen Forscherinnen und Forscher des Fraunhofer FHR unter dem Thema »Erklärbare KI« oder auch »Explainable AI« nach. Als Basis dienen öffentliche Radardaten, die während zweier Überflüge über ein Feld gewonnen wurden. Auf dem Feld wurden zuvor zehn Ziele platziert – Panzer, LKW, gepanzerte Fahrzeuge sowie ein Bulldozer. Die Radardaten, die während des ersten Überflugs erzeugt wurden, dienten als Trainingsdaten. Beim zweiten Überflug wurden die Testdaten erhoben, allerdings unter einem geänderten Winkel. Die Ziele wurden nicht bewegt, sie verblieben an Ort und Stelle. So lässt sich untersuchen, ob die Neuronalen Netze die tatsächlichen Objekte erkennen oder versehentlich Hintergrundmerkmale wie Bäume oder Bodentexturen für die Klassifikation nutzen.
Einblick in die Netzwerkanalyse: Feature Maps und Heatmaps
Zur ersten Analyse dienten sowohl Feature Maps, als auch Heatmaps. In den Feature Maps werten die Algorithmen die Zwischenergebnisse der einzelnen Lagen aus, in denen die Neuronalen Netze die Daten analysieren. Dabei treten Besonderheiten wie Kanten oder die Länge des Ziels hervor. Bei Tiefen Neuronalen Netzen, auch Deep Neural Networks genannt, wird diese Analyse schnell unübersichtlich, da die Komplexität der Feature Maps mit zunehmender Netzwerktiefe steigt.
Daher wurden in einem zweiten Schritt alle wichtigen Features, auf die die Neuronalen Netze »schauen«, in einer Heatmap zusammengeführt. Zur Erstellung dieser Heatmaps wurde das Score-CAM Verfahren genutzt, das sichtbar macht, welche Bildbereiche tatsächlich zur Entscheidung beitragen.
Die Ergebnisse sprechen für die Neuronalen Netze des Fraunhofer FHR: Sie analysieren wie gewünscht die Ziele, nicht die Hintergründe. Für Anwender ist dies ein zentraler Nachweis für die Robustheit und Zuverlässigkeit der Modelle.
Zusätzliche Detailanalyse: SHAP erklärt Einfluss einzelner Bildpunkte
Abschließend wurde mit SHAP eine Analyse zur Gewichtung einzelner Bildpunkte durchgeführt. SHAP basiert auf einer spieltheoretischen Analyse der einzelnen Merkmale und deren Einfluss auf das Gesamtergebnis des neuronalen Netzes. Diese Methode zeigt, welche Teile eines Ziels stark für die korrekte Klasse sprechen, aber auch welche Teile eines Ziels möglicherweise zu Verwechselungen mit anderen Klassen führen. Das Ergebnis ist grafisch für zwei Bilder eines Panzers in der zweiten Abbildung dargestellt. Dabei wurde die Datenbank in vier Klassen eingeteilt, Panzer (Tanks), LKWs (Trucks), gepanzerte Radfahrzeuge (Armoured vehicles) und Baustellenfahrzeuge (Bulldozers). Ganz links befindet sich das Eingangsbild, die übrigen Bilder zeigen die SHAP Werte. Je höher die Intensität der Darstellung, desto stärker prägen die Merkmale die jeweilige Klasse: Rot erhöht, Blau verringert die Entscheidungssicherheit.
Auffällig ist die starke rote Färbung der Klasse Panzer sowie die blaue Färbung der Klasse gepanzerte Fahrzeuge – ein Hinweis auf ähnliche Merkmale, die zu Verwechslungen führen können. Interessant ist im oberen Beispiel der Abbildung, dass einige Merkmale, die ebenfalls in der Klasse der Baustellenfahrzeuge auftauchen, die Konfidenz für die Entscheidung zur Klasse Panzer hin erhöhen – eine Kombination, die möglicherweise nur dort vorkommt. Dies zeigt, wie wichtig weitere Forschungsarbeiten im Bereich der Erklärbarkeit sind, um Netzentscheidungen noch gezielter erklären zu können.