KI-Systeme: Funktionalität und Robustheit richtig bewerten6 | 11 | 26

In modernen Produktionsumgebungen werden zunehmend KI-Systeme für verschiedene Aufgaben eingesetzt. KI-Systeme können beispielsweise Fehler auf Bauteilen erkennen, Qualitätsabweichungen vorhersagen oder Produktionsprozesse überwachen. Besonders bei bildverarbeitenden Prüfsystemen können sie große Datenmengen auswerten und Fehler erkennen, die mit klassischen Prüfverfahren nur schwer beziehungsweise mit hohem Prüfaufwand zu erfassen sind.

Sowohl bei der Operationalisierung als auch der Bewertung eines KI-Systems steht zunächst die Funktionalität im Vordergrund. Es wird geprüft, ob das KI-System seine vorgesehene Aufgabe erfüllt und beispielsweise fehlerhafte Bauteile zuverlässig von fehlerfreien Bauteilen unterscheiden kann. Der Nachweis der Funktionalität, der häufig unter idealen Bedingungen erbracht wird, reicht für einen dauerhaften Einsatz in der Produktion nicht aus.

Mindestens ebenso wichtig ist die Frage, ob diese Funktionalität auch dann erhalten bleibt, wenn sich die Bedingungen in der Produktion verändern, was bei vielen Produktionsprozessen üblich ist. Ein KI-System, welches flexibel auf Änderungen im Produktionsprozess reagieren kann, wird als robust bezeichnet. Analog zu der Robustheit von Produktionsprozessen selbst, rückt somit neben der Funktionalität von KI-Systemen deren Robustheit in den Mittelpunkt der Entwicklung.

Funktionalität als messbare Größe

Die Funktionalität beschreibt zunächst, ob ein KI-System die Aufgabe erfüllt, für die es entwickelt wurde. Bei einem KI-basierten Prüfsystem kann dies beispielsweise bedeuten, dass Oberflächenfehler zuverlässig erkannt werden müssen.

Eine einfache Aussage wie: „Die KI erkennt 98 Prozent der Bauteile richtig“ reicht dafür häufig nicht aus. Entscheidend ist, welche Arten von Fehlern auftreten. Wird ein fehlerfreies Bauteil fälschlicherweise aussortiert (alpha-Fehler), entstehen unnötige Kosten. Wird dagegen ein tatsächlich fehlerhaftes Bauteil als fehlerfrei bewertet (beta-Fehler), kann dies wesentlich kritischere Folgen haben.

Zur Bewertung werden deshalb verschiedene Kennzahlen eingesetzt, die beispielsweise aus einer Konfusionsmatrix abgeleitet werden können. Je nach Anwendung sind unter anderem Sensitivität, Spezifizität oder die Rate falsch negativer Ergebnisse relevant.

Bereits vor der Einführung sollte daher festgelegt werden, welche Leistungsfähigkeit für den vorgesehenen Einsatz erforderlich ist und welche Fehler noch akzeptiert werden können. Erst dadurch entsteht aus einer technischen Kennzahl ein konkretes Qualitätskriterium.

Was bedeutet Corruption Robustness?

Ein KI-System arbeitet in der Produktion jedoch nicht dauerhaft unter den gleichen Bedingungen, unter denen es entwickelt und getestet wurde. Genau an dieser Stelle wird die Robustheit relevant.

Bei der sogenannten Corruption Robustness wird betrachtet, wie sich ein KI-System verhält, wenn die Eingangsdaten durch natürliche oder technisch bedingte Störungen verändert werden. Dabei geht es um Veränderungen, die im normalen Betrieb auftreten können, ähnlich wie bei gewöhnlichen Prozesseinflüssen in der Produktion.

Bei einem KI-basierten Prüfsystem über Kameras sind beispielsweise folgende Einflüsse denkbar:

• veränderte oder schwankende Beleuchtung
• Verschmutzungen auf der Kameralinse
• Bildrauschen
• Reflexionen auf Bauteiloberflächen
• leichte Veränderungen der Kameraposition
• Unterschiede zwischen verschiedenen Material- und Produktionschargen

Menschliche Qualitätsprüfer können Mängel an Bauteilen auch unter suboptimalen Bedingungen gut erkennen. Ein KI-System kann dagegen bereits auf relativ kleine Veränderungen der Eingangsdaten (auch als Drift bezeichnet) empfindlich reagieren.

Die DIN SPEC 92001-2 greift genau diesen Punkt auf und unterscheidet unter anderem zwischen Robustheit gegenüber gezielt erzeugten Störungen (Angriffe) und Robustheit gegenüber natürlich auftretenden Signalstörungen beziehungsweise Prozesseinflüssen. In beiden Fällen kann ein Mangel an Robustheit des KI-Systems unter ungünstigen Bedingungen zu einem fehlerhaften Output führen. Darum kommt der Prüfung der Robustheit eines KI-Systems eine wichtige Rolle zu.

Robustheit gezielt prüfen

Für die Qualitätssicherung bedeutet dies, dass ein KI-System nicht ausschließlich mit optimalen Testdaten geprüft werden sollte. Stattdessen müssen auch solche Bedingungen berücksichtigt werden, die während des späteren Produktionsbetriebs tatsächlich auftreten können. Aus einem vorhandenen Testdatensatz können beispielsweise gezielt veränderte Varianten erzeugt werden. Bilder können heller oder dunkler gemacht, mit Rauschen versehen oder leicht unscharf dargestellt werden. Anschließend wird untersucht, wie stark sich die zuvor ermittelten Leistungskennzahlen verändern.

Dabei geht es nicht darum, dass ein KI-System unter beliebig schlechten Bedingungen funktionieren muss. Vielmehr müssen zulässige Grenzen festgelegt werden. Sinkt die Beleuchtungsstärke beispielsweise innerhalb eines definierten Bereichs, muss das System weiterhin eine festgelegte Mindestleistung erreichen. Werden diese Grenzen überschritten, kann eine Warnung, eine zusätzliche Prüfung oder ein Eingriff in den Prozess erforderlich werden. Ein solch abgegrenzter Bereich wird als ODD (Operational Design Domain) bezeichnet.

Robustheit wird damit zu einer messbaren Eigenschaft und nicht nur zu der allgemeinen Aussage, dass ein KI-System „stabil“ funktioniert.

Was fordert die KI-Normung?

Die Normung im Bereich der künstlichen Intelligenz ist bereits weiter fortgeschritten, als viele denken. In Bezug auf die Robustheit von KI-Systemen stehen aus normtechnischer Sicht ein systematisches Vorgehen und eine Risikoanalyse im Vordergrund. Die DIN SPEC 92001-2 beschreibt hierzu einen Prozess, bei dem zunächst Einsatzbereich, Kontext und Kriterien definiert werden. Darauf folgen die Analyse möglicher Störungen und Auswirkungen, die eigentliche Robustheitsbewertung sowie gegebenenfalls Maßnahmen zur Risikominderung.

Robustheit ist auch international ein fester Bestandteil der normativen Bewertung der Leistungsfähigkeit von KI-Systemen. Neben der DIN SPEC 92001-2 beschäftigt sich insbesondere die ISO/IEC 24029-Reihe mit der Bewertung der Robustheit neuronaler Netze.

Für Produktionsunternehmen lassen sich daraus einige grundlegende Anforderungen ableiten: Der vorgesehene Einsatz der KI muss klar beschrieben, relevante Störgrößen müssen identifiziert und geeignete Akzeptanzkriterien festgelegt werden. Anschließend muss nachgewiesen werden, dass das System innerhalb dieser Grenzen ausreichend zuverlässig sowie robust arbeitet.

Von der guten Trefferquote zur robusten Anwendung

Die entscheidende Frage bei einem KI-System lautet daher nicht nur: Wie gut funktioniert das KI-System?

Ebenso wichtig ist die Frage: Unter welchen Bedingungen funktioniert das KI-System noch ausreichend gut?

Gerade in der Produktion ist dieser Unterschied entscheidend. Produktionsbedingungen verändern sich, Sensoren altern, Anlagen werden umgebaut und die Beschaffenheit von Materialien können schwanken. Ein KI-System muss deshalb nicht nur zum Zeitpunkt seiner Freigabe gute Ergebnisse liefern, sondern auch unter den tatsächlich zu erwartenden Bedingungen beherrscht werden können.

Funktionalität und Robustheit müssen daher gemeinsam betrachtet werden. Es muss bekannt sein, welche Leistung ein KI-System erreicht, welche Störungen diese Leistung beeinflussen und innerhalb welcher Grenzen das System zuverlässig eingesetzt werden kann. Erst dann wird aus einem leistungsfähigen KI-System ein beherrschbarer Bestandteil des Produktionsprozesses.

Lesen Sie darüber hinaus auch unseren weiteren Beitrag zu KI in der Produktion: Warum Funktionalität auch Robustheit und Erklärbarkeit braucht »

Über den Autor: Hartmut Winkler

Hartmut Winkler ist seit 2016 selbstständiger Unternehmensberater bei Q-Future mit den Schwerpunkten Qualitätsmanagement, Prozessoptimierung und Digitalisierung. Nach seinem Studium der Mechatronik arbeitete er über 10 Jahre im QM der Automobilindustrie und der Luft- und Raumfahrt. Seit 2014 ist er in der akademischen Lehre tätig. Er ist DGQ-Trainer für statistische Fähigkeitsnachweise und Prozessregelung. Seit 2018 ist er Mitglied im Team der DGQ-Regionalkreisleitung Frankfurt am Main.