1 Einleitung
Ein qualitativ hochwertiges Produkt ist ein wesentliches Unterscheidungsmerkmal auf wettbewerbsorientierten Märkten, insbesondere bei sicherheitsrelevanten Anwendungen [1, 2] . Selbst kleinste Defekte können zu Beanstandungen, Funktionseinbußen oder sogar Funktionsausfällen führen. Werden diese Defekte erst im späteren Verlauf des Fertigungsprozesses oder erst im Betrieb erkannt, können diese hohe Kosten verursachen. Eine sorgfältige und zuverlässige Qualitätskontrolle der Produkte ist somit unerlässlich. Im Bereich der optischen Qualitätskontrolle haben Methoden der Bildverarbeitung und des Maschinellen Lernens ihr Potenzial zur Beschleunigung und Verbesserung der Qualitätskontrolle in verschiedenen Bereichen bewiesen [1]. Dennoch werden gerade in der Automobilproduktion und der Wartung von Flugzeugkomponenten (z. B. Avionik-Komponenten wie Flugsteuerungen) hohe Qualitätsanforderungen gestellt. Schließlich kann eine Fehlentscheidung weitreichende Folgen für die sichere Nutzung eines Autos oder eines Flugzeugs haben.
Bevor ein solches automatisiertes und datenbasiertes System zur automatisierten optischen Inspektion (AOI) implementiert und in den Betrieb integriert werden kann, muss also eine hohe Qualität der erfassten Bilder gewährleistet sein. Dies stellt angesichts der Vielzahl möglicher Einflussfaktoren eine große Herausforderung dar [3]. In der Literatur existiert eine Vielzahl von Metriken, die zur Bewertung von Bildern herangezogen werden können. Damit eine Metrik zur Bewertung der Bildqualität für die automatische Auswertung in einem AOI-System eingesetzt werden kann, muss diese die spezifischen Anforderungen an den Einsatz in der Qualitätskontrolle erfüllen. Insofern müssen die Anforderungen und Einflussfaktoren zunächst ermittelt werden, um anschließend eine Auswahl einer geeigneten Metrik zu treffen. Aus diesem Grund sollen im Rahmen dieser Arbeit die folgenden Forschungsfragen beantwortet werden, um Akteure in vergleichbaren Einsatzgebieten bei ihrer Entscheidung zu unterstützen:
Zur Beantwortung dieser Forschungsfragen wird die folgende Struktur verfolgt: Abschn. 2.2 fasst den Hintergrund zusammen. Es werden potentiell relevante Bewertungsmetriken und spezifische Anforderungen abgeleitet, die es zu berücksichtigen gilt. Darauf basierend werden in Abschn. 2.3 verwandte Arbeiten diskutiert, die sich mit der Integration von Bewertungsmetriken in Qualitätskontrollaufgaben beschäftigen. In Abschn. 2.4 wird eine Auswahl von Bewertungsmetriken vorgestellt, die angesichts der Anforderungen potentiell geeignet sind. Die Implementierung der am besten bewerteten Metrik mit Hilfe des Demonstrators wird in Abschn. 2.5 beschrieben. Entsprechend werden in Abschn. 2.6 beobachtete Ergebnisse aus der Implementierung diskutiert.
RQ1)
Welche besonderen Anforderungen ergeben sich aus der Aufgabe der AOI in der Qualitätskontrolle im Automobilbau bzw. der Automobil-Zulieferindustrie und in der Instandhaltung von Flugzeugkomponenten an die zu berücksichtigenden Metriken?
RQ2)
Welche Metriken sind nach diesen Anforderungen für die Aufgabe der Qualitätskontrolle in den betrachteten Anwendungsfällen geeignet?
RQ3)
Wie können solche Metriken in eine Pipeline zum AOI-System für Qualitätskontrollaufgaben integriert und umgesetzt werden?
Anzeige
2 Hintergrund
Im Folgenden werden die Klassen potentiell relevanter Bewertungsmetriken der Bildqualität vorgestellt. Anschließend werden spezifische Anforderungen der Bewertungsmetriken abgeleitet, die es bei der Integration in ein AOI-System zu berücksichtigen gilt.
2.1 Bildqualitätsmetriken
Nach Dosselmann et al. [4] sind Bildqualitätsmetriken (IQM) ein Thema intensiver Forschung. Die entsprechenden Algorithmen können grundsätzlich in drei Klassen eingeteilt werden: No Reference (NR)-Methoden stützen sich nicht auf ein Referenzbild zur Bestimmung einer Qualitätsbewertung. Reduced Reference (RR)-Methoden verwenden nur Teilinformationen über das Originalbild. Sie werden z. B. in Übertragungssystemen mit begrenzter Bandbreite eingesetzt. Full Reference (FR)-Methoden verwenden das komplette Originalbild als Referenz, um eine Qualitätsbewertung zu berechnen. In den letzten Jahren zeigt die Entwicklung einen Trend zu NR-Bewertungsmethoden, die keine Informationen über ein Originalbild erfordern. Diese Art von IQM eignen sich für den Einsatz in der Qualitätskontrolle, da sie dazu verwendet werden können, die aktuelle Bildqualität abzuschätzen und vorzuschlagen, ob ein bestimmtes Bild für eine Entscheidung über die Produktqualität geeignet ist oder ob äußere Faktoren eine fundierte Entscheidung verhindern könnten.
2.2 Anforderungen für den Einsatz einer IQM in der Qualitätskontrolle
Die Aussagekraft der Entscheidung, ob die Qualität eines hergestellten Produktes ausreichend ist, hängt von der Qualität der verwendeten Daten, d. h. hier der Bilder, ab. Eine schlechte Bildqualität führt zu schlechten Entscheidungen. Daher müssen die eingehenden Bilder hinsichtlich einer ausreichenden Bildqualität geprüft werden, bevor eine Entscheidung getroffen werden kann. Dies ist umso wichtiger, wenn die Führung des zu untersuchenden Objektes von Hand durchgeführt wird. Dadurch können Ungenauigkeiten bei der Bewegung und Positionierung entstehen, was wiederum unscharfe Bilder zur Folge hätte. Außerdem gibt es bei manueller Positionierung keine absolute Referenz für jedes Produkt, das geprüft wird. Dementsprechend muss das IQM ohne ein Referenzbild arbeiten (A1). Außerdem ist eine hohe Vorhersagegenauigkeit für die Bildqualität erforderlich, um zuverlässig zwischen Bildern mit ausreichender Qualität für die Aufgabe und solchen mit unzureichender Qualität unterscheiden zu können (A2). Eine weitere wesentliche Anforderung an ein IQM, welches in der Qualitätskontrolle eingesetzt werden soll, ist, dass es auch ohne Kenntnis der Fehler, welche die Bildqualität verschlechtern könnten, zuverlässig arbeiten muss (A3). Die Unschärfe eines Bildes stellt jedoch die wahrscheinlichste Ursache für eine schlechte Bildqualität bei Qualitätskontrollaufgaben dar [5], sodass ein IQM eine hohe Genauigkeit bei der Unschärfeerkennung aufweisen sollte (A4). Unschärfe kann durch Bewegung oder ungenaue Positionierung des zu prüfenden Objekts entstehen. Darüber hinaus sollte das IQM in der Lage sein, im Hinblick auf das jeweilige Anwendungssystem in Echtzeit zu arbeiten (A5). Dies kann auch von den weiteren Verarbeitungsschritten abhängen. Folglich müssen IQM in Bezug auf die Berechnung effizient sein. Schließlich wäre es von Vorteil, wenn ein IQM an verschiedene Anwendungen anpassbar wäre (A6).
3 Verwandte Arbeiten
Es existieren bereits umfangreiche Arbeiten zu verschiedenen IQM-Algorithmen und -Anwendungen. In [6] werden als typische Anwendungen des IQM die Bewertung von Algorithmen zur Bildverbesserung und -restaurierung, die Beurteilung, ob die aktuelle Bildqualität die weitere Verwendung der Bilder beeinflusst, wie z. B. in Erkennungsalgorithmen, und die Verwendung als Filter in Image Retrieval Systemen beschrieben. Die beiden letztgenannten Anwendungsfälle sind die für Qualitätskontrollsysteme relevant. Die abgerufenen Bilder müssen so gefiltert werden, dass ihre Qualität die Entscheidung über die Produktqualität nicht beeinträchtigt.
Anzeige
Eine beispielhafte Anwendung im Bereich der Fingerabdruckerkennung wird in [7] diskutiert. Hier stellen die Autoren fest, dass IQM für eine qualitativ hochwertige Erkennungsleistung von Fingerabdrücken unerlässlich sind. Die jeweils vorgestellten Methoden sind jedoch sehr spezifisch für Fingerabdruckbilder ausgelegt. In [8] gehen die Autoren noch einen Schritt weiter und nutzen das IQM zur Erkennung gefälschter biometrischer Daten, um den Zugang mit gefälschten biometrischen Proben zu verhindern.
Ein weiteres Anwendungsgebiet ist die Forschung im Bereich der medizinischen Bildgebung. Bilder der Magnetresonanztomographie (MRT) müssen hinsichtlich ihrer Bildqualität untersucht werden, um valide Schlussfolgerungen ziehen zu können. In [9] wurden mehrere Bildqualitätsmetriken eingeführt, um die Qualität von MRT-Bildern objektiv und automatisch zu bewerten. Neben den MRT-Bildern wurden auch Computertomographie- (CT) und Ultraschallbilder mit IQM analysiert, um die Bildqualität objektiv und automatisch zu überprüfen [10].
In [11] betonen die Autoren die Bedeutung qualitativ hochwertiger Bilder für die robotergestützte Qualitätsprüfung von Teilen. Die Bildqualität kann jedoch unter einer unzureichenden Roboterbewegung leiden. Daher schlagen sie eine Optimierung der Robotertrajektorien auch im Hinblick auf die Qualität der entlang der Bahn aufgenommenen Bilder vor.
Lee et al. [12] stellen in ihrer Arbeit einen Ansatz zur Erkennung und Diagnose von Rissen in Brücken vor. Der Einsatz von unbemannten Luftfahrzeugen (UAV) ermöglicht dabei eine bessere Zugänglichkeit des Inspektionsbereichs. Die Qualität der mit dem UAV aufgenommenen Bilder ist jedoch sehr unbeständig. Aus diesem Grund schlagen sie eine Bewertung der Bildqualität vor der Durchführung der Risserkennung vor.
4 Auswahl und Integration einer Bewertungsmetrik für AOI in Qualitätskontrollaufgaben
Wie bisher erläutert wurde, ist es unerlässlich, Bilder von hoher Qualität zu haben, um eine valide Entscheidung darüber treffen zu können, ob ein hergestelltes Produkt von ausreichender Qualität ist oder nicht. Besonders in Bereichen mit schnell wechselnden Produkten ist es kaum möglich, Trainingsdaten mit Qualitätskennzeichnungen zu erstellen. IQM müssen folglich meinungsfrei sein, d. h. sie können sich nicht auf einen Datensatz von Bildern mit Qualitätskennzeichnungen stützen. Daher wurden aus dem Stand der Technik IQM extrahiert, die nicht meinungsabhängig sind. Die folgenden Methoden wurden als Kandidaten für ein IQM in Qualitätskontrollanwendungen identifiziert. Um den am besten geeigneten Algorithmus für die automatisierte bildverarbeitungsbasierte Qualitätskontrolle zu finden, wurden sie alle im Hinblick auf die in Abschn. 2.2.2 genannten Anforderungen bewertet und verglichen. Um die Leistung der Unschärfeerkennung zu bewerten, wurde der Vergleich aus [5] herangezogen. Die Ergebnisse sind in Tab. 2.1 veranschaulicht.
Tab. 2.1
Bewertung der IQM-Kandidaten auf der Grundlage der Literatur, um eine Auswahl für die automatisierte bildgestützte Qualitätskontrolle zu treffen. Die grundlegenden Anforderungen wurden mit einem (+) bewertet, wenn sie erfüllt sind, und mit einem (−), wenn sie nicht erfüllt sind. Binäre Anforderungen werden mit 0 bewertet, wenn sie nicht erfüllt sind, und mit 1, wenn sie erfüllt sind. Die restlichen Anforderungen werden mit einer Punktzahl von 0 für überhaupt nicht erfüllt bis 3 für vollständig erfüllt bewertet
IQM | A1: NR | A2: Qualitätsbewertung | A3: Fehlertypen | A4: Unschärfeerkennung | A5: Echtzeitfähigkeit | A6: Anpassungsfähigkeit | Ergebnis |
|---|---|---|---|---|---|---|---|
BRISQUE [13] | + | + | + | 1 | 3 | 0 | 4 |
NIQE [14] | + | + | + | 1 | 3 | 1 | 5 |
IL-NIQE [15] | + | + | + | 3 | 0 | 1 | 4 |
PIQUE [16] | + | + | + | 1 | 2 | 0 | 3 |
FISH [17] | + | + | − | / | / | / | / |
FISH [17] ist ein Schätzer für die Schärfe eines Bildes, die als Hauptursache für Bildverzerrungen bei Qualitätskontrollaufgaben identifiziert wurde. Die Methode basiert auf einer diskreten Wavelet-Transformation (DWT) und der Berechnung der Log-Energien in jedem der aus der DWT resultierenden Teilbilder. Diese Methode geht dementsprechend von einer auftretenden Verzerrung in Form von Unschärfe aus und ist nicht an andere Typen anpassbar.
BRISQUE [13] basiert auf einem Support Vector Regression-Modell, das anhand eines Datensatzes von Bildern mit Qualitätskennzeichnungen trainiert wird, die von menschlichen Bewertungen abgeleitet sind. Das Ergebnis ist ein numerischer Index. Die Methode selbst kennt die erwartete Art der Bildverzerrung nicht. Die tatsächlich auftretenden Arten sollten jedoch Teil der Trainingsdaten sein, um sie genau zu bewerten. Der Rechenaufwand ist nach Angaben der Autoren so gering, dass das Verfahren in Echtzeit ausgeführt werden kann. Durch die Verwendung von Trainingsdaten, die von Menschen bewertet werden, ist es nicht meinungsunabhängig und kaum an neue Fälle anpassbar, die nicht von den Trainingsdaten abgedeckt werden.
NIQE [14] leitet einen Qualitätsindex aus einem Modell ab, das im Voraus anhand eines Datensatzes unverzerrter Bilder bestimmt wird. Aus diesem Datensatz wird ein Modell konstruiert, das auf speziell ausgewählten Merkmalen basiert. Der Bildqualitätsindex ist dann der Abstand des Qualitätsmodells, wie es auf ein Testbild angewendet wird, von dem vorgegebenen Modell. Dieses IQM ist also verzerrungs- und meinungsunabhängig. Da der Trainingsdatensatz aus unverzerrten Bildern besteht, lässt er sich leicht an neue Anwendungsfälle anpassen.
IL-NIQE [15] ist im Wesentlichen eine Weiterentwicklung des oben erwähnten NIQE [14]. Diese führt mehrere zusätzliche Merkmale ein und berechnet lokale Indizes auf Blockebene anstelle eines globalen Index. Auch dieser Algorithmus ist nicht meinungs- und verzerrungsabhängig. Er steigert die Unschärfeerkennungsleistung von NIQE [14] erheblich. Aufgrund der erhöhten Komplexität ist es nicht mehr möglich, dieses IQM in Echtzeit auszuführen. Es ist jedoch genauso anpassungsfähig wie NIQE [14], da es auch mit einem Datensatz unverzerrter Bilder arbeitet.
PIQUE [16] berechnet die Qualität ebenfalls auf Blockebene. Es sucht nach räumlich aktiven Blöcken, die für die menschliche Bewertung der Bildqualität wesentlich sind. Jeder räumlich aktive Block wird auf auffällige Verzerrungen und Rauschen untersucht, woraus eine Punktzahl für jeden Bildblock abgeleitet wird. Die Bewertung der Bildqualität ist dann die Summe aller Blockbewertungen. Somit ist dieses IQM auch verzerrungs- und meinungsunabhängig. Es erfordert keine Trainingsdaten und ist folglich übertragbar. Es wurde jedoch noch nie an Bildern aus technischen Umgebungen evaluiert, so dass unklar bleibt, ob es auch für dieses Szenario geeignet ist.
5 Versuchsaufbau
Um die Eignung der Bildmetrik zur Bewertung der Bildqualität sowie die Gewährleistung der Leitungserhaltung des Bildauswertungsprozesses durch die Integration der Bildmetrik in Form eines Bildbewertungsmoduls zu evaluieren, werden Bilddaten zweier verschiedener Anwendungsfälle künstlich verzerrt. Daraufhin wird NIQE als die am besten geeignete Bildmetrik zur Integration in ein AOI-System hinsichtlich ihrer Leistungsfähigkeit zur Bewertung der Bildqualität evaluiert. Abschließend wird die Auswirkung der Bildverzerrung auf die Leistung des Bildauswertungsprozesses sowie der Nutzen der Integration eines Bildbewertungsmoduls in ein AOI-System bewertet.
5.1 Datensätze
Zur Evaluation werden zwei verschiedene Anwendungsfälle betrachtet. Der erste Anwendungsfall ist die Inspektion von Metalloberflächen mit dem Ziel der Klassifikation von verschiedenen Defekttypen. Zu diesem Zweck wird der von der Northeastern University veröffentlichte NEU-DET-Datensatz [18] verwendet. Dieser Datensatz umfasst 1800 Bilder mit sechs typischen Defekten auf Metalloberflächen. Jede der sechs Defektkategorien umfasst 300 Bilder.
Der zweite Anwendungsfall ist die Inspektion von Leiterplatten. Dabei gilt es, die auf der Leiterplatte vorliegenden Defekte nicht nur zu klassifizieren, sondern auch zu lokalisieren. Dazu wird die Erweiterung [19] des von der Open Lab on Human Robot Interaction der Peking University veröffentlichten PCB-Datensatzes verwendet. Dieser Datensatz umfasst 12.428 Bilder mit sechs Arten von Defekten auf Leiterplatten.
5.2 Verzerrungsarten und -stufen
Für beide Anwendungsfälle werden für die im entsprechenden Datensatz vorhandenen Bilder eine Vielzahl zusätzlicher Bilder mit unterschiedlichen Bildverzerrungen erzeugt. Es werden vier Arten üblicher Verzerrungen berücksichtigt: Tiefenunschärfe, Bewegungsunschärfe, Rauschen und Belichtung. Jede Verzerrung wird separat betrachtet. Tiefenunschärfe kann auftreten, wenn die Kamera nicht richtig auf das zu verarbeitende Objekt fokussiert ist. Für diese Art von Unschärfe wird ein Gauß-Kernel verwendet. Die Standardabweichung σ des Gauß-Kernels wird in Schritten von 0,1 zwischen 0,1 und 10 variiert. Neben der Tiefenunschärfe ist die Bewegungsunschärfe eine weitere Ursache für eine schlechte Bildqualität. Zu diesem Zweck wird eine Bewegung entlang der Horizontalen simuliert, indem die Pixel des Originalbildes auf eine bestimmte Anzahl von Pixeln im verzerrten Bild gestreckt werden. Die Anzahl der Pixel variiert von 1 bis 50 Pixel mit einer Schrittweite von 0,5 Pixel. Rauschen kann durch die Verwendung von Kamerasensoren minderer Qualität verursacht werden. Einzelne Pixel im Sensor können defekt sein und unabhängig von der Szene ein konstantes Signal liefern. Dieses Rauschen kann als Impulsrauschen modelliert werden. Die Wahrscheinlichkeit, dass ein Pixel vom Rauschen betroffen ist, wird von 0 bis 10 Prozent mit einer Schrittweite von 0,1 Prozent variiert. Schließlich wird die Auswirkung von künstlicher Aufhellung und Abdunklung auf das Bild bewertet, um reale Belichtungsfehler zu simulieren. Zu diesem Zweck wird zu jedem Helligkeitswert pro Kanal ein bestimmter Wert addiert. Dieser Wert wird von −150 bis +150 mit einer Schrittweite von 4 variiert. Die Unter- und Obergrenze der Helligkeitswerte sind auf 0 und 255 begrenzt.
5.3 Bildauswertungsverfahren
Die Leistung der Integration des Bildbewertungsmoduls in ein AOI-System wird für zwei Arten von Inspektionsaufgaben evaluiert. Für die Oberflächeninspektion des NEU-DET Datensatzes werden vier repräsentative neuronale Netze zur Klassifikation von verschiedenen Defekttypen betrachtet. Bei den in dieser Arbeit getesteten neuronalen Netze handelt es sich um AlexNet [20], VVG16 [21], ResNet18 [22] und DenseNet161 [23]. Diese Netze wurden alle auf dem ImageNet-Datensatz [24] vortrainiert. Die Implementierung der Netze erfolgte im Framework PyTorch [25] und verwendete die vortrainierten Modellgewichte der TorchVision Bibliothek. Um eine hohe Genauigkeit für die Klassifikation der verschiedenen Defekttypen zu gewährleisten, werden die betrachteten neuronalen Netze mit Anfangsgewichten aus den vortrainierten Modellen zur Feinabstimmung neu trainiert. Dazu wurden die Modellgewichte aller Schichten der neuronalen Netze an den Anwendungsfall angepasst. Während des Trainings wurden die neuronalen Netze hinsichtlich der Kreuzentropie als Verlustfunktion über 15 Epochen mit Hilfe des SDG-Optimierers mit einer schrittweise sinkenden Lernrate beginnend bei 0,01 und einer Verringerung um den Faktor 0,1 alle 5 Epochen optimiert. Die Visualisierung der Verlust- und Genauigkeitskurven für die Trainings- und Validierungsdaten zeigt eine Konvergenz und damit eine entsprechende Fähigkeit zur Generalisierung.
Zur Evaluation der Leistungserhaltung des Bildauswertungsprozesses durch den Einsatz des Bildbewertungsmoduls wurde neben der Klassifikation ebenfalls die Auswirkung des Bildbewertungsmoduls auf die Leistung eines Objekterkennungsverfahrens bewertet. Dazu wurde das YOLOv5-Modell [26] mit vortrainierten Modellgewichten verwendet. Dessen Implementierung erfolgte ebenfalls in PyTorch [25]. Das Modell wurde auf dem COCO-Datensatz [27] vortrainiert und auf den in Abschn. 2.5.1 beschriebenem Leiterplatten-Datensatz feinabgestimmt. Das Training erfolgte über 60 Epochen mit einer Batchgröße von 16. Die restlichen Hyperparameter blieben im Vergleich zu Jocher et al. [26] unverändert.
6 Auswertung und Diskussion
Die für die Integration in ein AOI-System am besten geeignete Bildmetrik, NIQE, wird zuerst hinsichtlich ihrer Leistungsfähigkeit zur Erkennung der vorgestellten Verzerrungsarten und -stufen bewertet. Anschließend wird die Bildmetrik modularisiert und in ein AOI-System integriert. Das zusätzlich integrierte Modul zur Bildbewertung dient der Entscheidung, ob ein Bild weiterverarbeitet werden kann oder als ungeeignet ausscheidet. Diesbezüglich wird die Gewährleistung qualitativ hochwertiger Eingabedaten sowie die dadurch ermöglichte Leistungserhaltung des Bildauswertungsprozess bewertet.
6.1 Bewertung der Leistungsfähigkeit zur Bildqualitätserkennung
Zur Bewertung der Leistungsfähigkeit der Erkennung der Bildqualitätsdegradation durch die vorgestellten Verzerrungsarten und -stufen werden neben dem NIQE-Modell mit Standardeigenschaftswerten, die von der in [14] genannten Bilddatenbank abgeleitet sind, eine zweite an die entsprechenden Anwendungsfälle angepasste Version erzeugt. Für die Erstellung der anwendungsfallspezifischen NIQE-Modelle werden für beide Anwendungsfälle Reihen von Bildern als Referenz in einer Bilddatenbank zur Verfügung gestellt, aus denen die anwendungsfallspezifischen Parameter für die Modelle ermittelt werden. Für die Bewertung der Funktionsüberprüfung mittels künstlich verfälschter Bilder werden die von R. Dosselmann et al. [1] genannten Kriterien Vorhersagegenauigkeit, Monotonie und Konsistenz der Bewertung überprüft. Die Vorhersagegenauigkeit wird mithilfe des linearen Korrelationskoeffizienten von Pearson (PLCC) zwischen der NIQE-Bewertung und der Wurzel der mittleren Fehlerquadratsumme (RMSE) der verfälschten Bilder im Vergleich zu dem Originalbild bestimmt. Für die Monotonie der Vorhersage wird der Spearman’s Rangordnungs-Korrelationskoeffizient (SROCC) zwischen selbigen verwendet.
Abb. 2.1 zeigt die Ergebnisse der Experimente bezüglich der Verzerrungsarten und -stufen.
Abb. 2.1
Bildqualitätsbewertung in Abhängigkeit der verschiedenen Verzerrungsarten und -stufen
Tiefenunschärfe. Es ist ein erheblicher Unterschied des Verlaufes der Qualitätsbewertung zwischen dem NIQE-Modell mit Standardeigenschaftswerten und dem mit anwendungsfallspezifischen Werten zu erkennen. Das NIQE-Modell mit Standardeigenschaftswerten zeigt bei geringer Erhöhung der Standardabweichung des Gauß’schen Filters eine Verbesserung der Bildqualität. Anschließend steigt die Bewertungsmetrik mit zunehmender Standabweichung leicht über die Bewertung des Originalbildes, bleibt jedoch nahezu konstant. Dies weist darauf hin, dass sich das NIQE-Modell mit Standardeigenschaftswerten nicht für die Bewertung einer durch einen Gauß’schen Filter erzeugten Unschärfe eignet. Die geringe Vorhersagegenauigkeit und Monotonie zeigen sich ebenfalls in geringen PLCC- und SROCC-Werten. Bei den anwendungsfallspezifischen NIQE-Modellen ist hingegen ein klarer Unterschied zwischen der Bewertung des Originalbildes und der verfälschten Bilder sichtbar. Es ist eine hohe Leistungsfähigkeit zur Erkennung der Qualitätsabnahme bei geringer Verzerrung zu erkennen. Bei hoher Verzerrung hingegen wird zwar eine geringe Bildqualität erkannt, jedoch wird nicht der Grad der Qualitätsabnahme angezeigt. Die hohen PLCC- und SROCC-Werte bestätigen die hohe Vorhersagegenauigkeit und Monotonie der Modelle.
Bewegungsunschärfe. Analog zur Tiefenunschärfe ist auch bei der Erkennung der Bewegungsschärfe ein Unterschied zwischen der Leistung der NIQE-Modelle mit Standardeigenschaftswerten und denen mit anwendungsfallspezifischen Werten zu erkennen. Dabei ist der Verlauf der Qualitätsbewertung nahezu identisch mit dem der Tiefenunschärfe. Die PLCC- und SROCC-Werte der anwendungsfallspezifischen NIQE-Modelle verweisen auf eine mittlere Korrelation hin. Dies ist dadurch begründet, dass zwar eine geringe Bildqualität erkannt wird, die Qualitätsverschlechterung im Bereich niedriger Qualität jedoch nicht ermittelt werden kann.
Die anwendungsfallspezifischen NIQE-Modelle sind somit in der Lage, ein Bild ohne Bewegungsunschärfe von einem Bild mit künstlicher Bewegungsunschärfe zu unterscheiden. Die Genauigkeit der Qualitätsbewertung lässt allerdings bei zunehmender Intensität des Fehlers nach.
Rauschen. Die Verläufe der NIQE-Modelle mit Standardeigenschaftswerten und der mit anwendungsfallspezifischen Werten zur Qualitätsbewertung von Bildern mit künstlich hinzugefügtem Rauschen weisen starke Ähnlichkeiten auf. Dabei ist ein Anstieg der Qualitätsbewertungskennzahl relativ zur Qualitätsdegradation zu erkennen. Allerdings unterscheiden sich die Bewertungen zwischen den NIQE-Modellen stark in ihrer Skalierung. Die Maximalbewertung der Modelle mit Standardeigenschaftswerten liegt dabei weit unter der von Modellen mit anwendungsfallspezifischen NIQE. Die PLCC- und SROCC-Werte sind in beiden Fällen hoch und nahezu identisch. Dies zeigt, dass NIQE geeignet ist, künstliche hinzugefügtes Bildrauschen präzise zu bewerten.
Belichtung. Es existieren starke Unterschiede im Verlauf und den Maximalwerten zwischen der Bewertung der NIQE-Modelle mit Standardeigenschaftswerten und der Bewertung der Modelle mit anwendungsfallspezifischen Werten. Die Bewertungen der NIQE-Modelle mit Standardeigenschaftswerten bleiben annähernd konstant auf einem Niveau und sind somit nicht zu Erkennung und Bewertung künstlich hinzugefügter Belichtungsunterschiede geeignet. Die anwendungsfallspezifischen NIQE-Modelle hingegen zeigen Qualitätsverluste durch Belichtungsunterschiede an. Bei moderaten Belichtungsunterschieden ist der Anstieg der Bewertung jedoch nur sehr gering. Erst mit zunehmender Verdunkelung oder Aufhellung der Bilder werden deutliche Qualitätsverluste ermittelt. Die gleichen Erkenntnisse zeigen sich ebenfalls in den PLCC- und SROCC-Werten. Zusätzlich ist zu erkennen, dass Qualitätsverluste durch Verdunklung der Bilder besser erkannt werden als durch Aufhellung. Insgesamt ist NIQE somit geeignet, künstliche hinzugefügtes Belichtungsunterschiede zu erkennen. Es ist jedoch unpräzise bei geringen Belichtungsunterschieden.
Konsistenz der Vorhersage. Die hohe Genauigkeit als auch die hohe Monotonie der Vorhersagen verschiedener Bilder zweier Anwendungsfälle mit unterschiedlichen Verzerrungsarten und -stufen zeigt, dass eine Konsistenz der Vorhersage bei NIQE-Modellen mit anwendungsfallspezifischen Werten vorherrscht. Zudem zeigte das frühzeitige Erreichen eines Plateaus der Bewertung künstlich hinzugefügter Tiefen- und Bewegungsunschärfe, dass eine geringe Bildqualität klar erkennbar ist, die Qualitätsabnahme bei Bildern mit sehr niedriger Qualität jedoch nicht mehr erkannt wird.
×
![]()
6.2 Bewertung der Leistungserhaltung des Bildauswertungsprozess
Um den Nutzen des Einsatzes eines Bildbewertungsmoduls zu bestimmen, wurde die Leistung der in Abschn. 2.5.2 genannten Bildauswertungsverfahren zur Klassifikation und Objekterkennung auf künstlich verzerrten Bildern der beschriebenen Arten und Stufen der Bildverzerrung evaluiert.
Klassifikation.Abb. 2.2 zeigt die Klassifikationsgenauigkeit der neuronalen Netze in Bezug auf die verschiedenen Bildqualitätsverzerrungen. Alle Netze sind empfindlich gegenüber Unschärfe. Bei geringer Unschärfe ist jedoch zunächst kein Leistungsabfall der Klassifizierungsgenauigkeit zu erkennen. Bei mittleren Unschärfegraden nimmt die Klassifizierungsgenauigkeit der Netze allerdings deutlich ab. Diese Verringerung der Leistung lässt sich dadurch erklären, dass die Unschärfe die Texturen in den Bildern anhand derer die Netze das Bild klassifizieren, entfernt wird. Diese Erkenntnisse gelten sowohl für die Tiefenunschärfe als auch für die Bewegungsunschärfe. Die Klassifikationsgenauigkeit der Netze von Bildern mit Rauschen weist eine ähnliche Leistungsabnahme auf. Anders als bei der Unschärfe führt hier jedoch bereits ein sehr geringes Rauschen zu deutlich geringerer Genauigkeit der Netze. Die Visualisierung der Pixel-Attribution durch die Verwendung von Salienzkarten zeigt, dass die für die Klassifikation relevanten Pixel sehr gering, jedoch über den Großteil des Bildes verteilt sind. Dies könnte die Ursache für den deutlichen Leistungsabfall bei bereits geringem Rauschen sein. Weniger empfindlich sind die Netze gegenüber Aufhellung der Bilder. Die Abdunkelung der Bilder hingegen weist eine stärke Abnahme der Klassifikationsgenauigkeit auf.
Abb. 2.2
Leistungsbewertung der neuronalen Netze in Abhängigkeit der verschiedenen Verzerrungsarten und -stufen
Abb. 2.3 zeigt die Klassifikationsgenauigkeit der neuronalen Netze mit vorgeschaltetem Bildbewertungsmodul in Bezug auf die verschiedenen Bildqualitätsverzerrungen. Die Integration des Bildbewertungsmoduls in das AOI-System ermöglicht die Leistungserhaltung des Bildauswertungsprozess in Form der neuronalen Netze. Das Bildbewertungsmodul bewirkt das Herausfiltern und Entfernen von Bildern mit geringer Qualität. Trotz steigender Qualitätsverzerrung bleibt die Klassifikationsgenauigkeit der neuronalen Netze konstant, wobei die Anzahl der herausgefilterten Bilder mit zunehmender Qualitätsverzerrung steigt. Den neuronalen Netzen werden ausschließlich Bilder ausreichender Qualität zugeführt. Dies ermöglicht den Erhalt der Klassifikationsgenauigkeiten.
Abb. 2.3
Leistungsbewertung der neuronalen Netze mit vorgeschaltetem Bildbewertungsmodul in Abhängigkeit der verschiedenen Verzerrungsarten und -stufen
Objekterkennung.Abb. 2.4 zeigt die für die Leistungsbewertung von Objekterkennungssystemen geeignete Metrik mAP@0,5 des trainierten YOLOv5-Modells in Bezug auf die verschiedenen Bildqualitätsverzerrungen. Dabei sind die Erkenntnisse analog zu den Klassifikationsmodellen. Das Objekterkennungsmodell ist jedoch deutlich widerstandsfähiger gegenüber rauschbehafteten Bildern.
Abb. 2.4
Leistungsbewertung des Objekterkennungssystems ohne und mit vorgeschaltetem Bildbewertungsmodul in Abhängigkeit der verschiedenen Verzerrungsarten und -stufen
Auch bei der Objekterkennung wird der Nutzen der Integration des Bildbewertungsmoduls in das AOI-System ersichtlich. Die Leistungserhaltung des Bildauswertungsprozess kann trotz zunehmender Qualitätsverzerrung gewährleistet werden.
×
![]()
×
![]()
×
![]()
7 Diskussion und Schlussfolgerung
Die Ergebnisse zeigen, dass sich NIQE-Modelle, die an die Bilddaten des jeweiligen Anwendungsfalls angepasst sind, zur Erkennung und Bewertung der beschriebenen Verzerrungsarten und -stufen eignen. Dies gilt vor allem für geringe Verzerrungsstufen. Mit zunehmender Verzerrung wird weiterhin eine geringe Qualität ermittelt, jedoch wird die Bewertung des Qualitätsverlustes weniger präzise.
Die Experimente weisen zudem darauf hin, dass die getesteten neuronalen Netze gegenüber den vorgestellten Bildverzerrungen anfällig sind. Dies gilt sowohl für die Klassifikation als auch für die Objekterkennung. Die Integration eines Bildbewertungsmoduls in ein AOI-System zum Herausfiltern von qualitativ minderwertigen Bildern ermöglicht die Leistungserhaltung des jeweiligen Bildauswertungsprozesses.
Da die herausgefilterten Bilder aus dem AOI-System entfernt werden, ist die Integration eines Bildbewertungsmoduls vor allem dann geeignet, wenn von dem zu untersuchenden Objekt eine Vielzahl von Bildern, beispielsweise in Form eines Bilderstroms, aufgenommen werden.
Es kann sinnvoll sein, die neuronalen Netze mit Bildern niedriger Qualität zu trainieren, um die Anzahl der für die Entscheidung des Bildauswertungsprozesses geeigneten Bilder zu erhöhen. Dabei ist zu beachten, dass das Training mit Bildern niedriger Qualität die Leistung der neuronalen Netze bei Bildern niedriger Qualität verbessern, gleichzeitig aber zu einer geringeren Leistung bei Bildern mit hoher Qualität führen kann. Diese Entscheidung sollte daher anwendungsfallspezifisch getroffen werden.
Ein mögliches Hindernis stellt das Herausfiltern von Bildern mit niedriger Qualität in Bildabschnitten, die für die Entscheidung der Bildauswertung nicht relevant sind, dar. In zukünftigen Arbeiten planen wir, entscheidungsrelevante Bildinformation beispielsweise in Form von Pixel-Attribution der neuronalen Netze in die Bildqualitätsbewertung einzubeziehen und dadurch die Auswahl der für den Bildauswertungsprozess geeigneten Bilder weiter zu verbessern.
Acknowledgements
Die Autoren bedanken sich für die Förderung bei dtec.bw – Zentrum für Digitalisierungs – und Technologieforschung der Bundeswehr – Projekte EKI und ProMoDi.
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://creativecommons.org/licenses/by/4.0/deed.de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.