PNAP-YOLO: An Improved Prompts-Based Naturalistic Adversarial Patch Model for Object Detectors

Die rasche Weiterentwicklung des Deep Learning in der Computervision hat zu bedeutenden Durchbrüchen in verschiedenen Anwendungen geführt, von der Gesichtserkennung bis hin zum autonomen Fahren. Allerdings sind diese Modelle anfällig für feindliche Beispiele, die zu Störungen führen können, die zu falschen Urteilen führen und ernsthafte Bedrohungen für Sicherheit und Zuverlässigkeit darstellen. Dieser Artikel befasst sich mit den Grenzen traditioneller feindlicher Flecken, die oft auffällige Muster aufweisen und leicht identifizierbar sind. Es führt eine Prompt-based Natural Adversarial Patch (PNAP) Generierungsmethode ein, die ein vorausgebildetes Latent Diffusion Model (LDM) nutzt, um Patches mit spezifischem semantischen Inhalt zu erstellen. Die Methode gewährleistet die visuelle Natürlichkeit der Flecken bei gleichzeitiger Aufrechterhaltung einer hohen Angriffsleistung auf Detektoren. Der Artikel bietet einen detaillierten Überblick über den Prozess der PNAP-Generierung, einschließlich Patchtraining, Einbettung und Design der Verlustfunktionen. Sie präsentiert außerdem umfassende Bewertungen der Angriffsleistung der PNAP sowohl in digitalen als auch in physischen Weltszenarien sowie subjektive Bewertungen ihrer Natürlichkeit. Die Ergebnisse zeigen, dass PNAP die Natürlichkeit gegnerischer Flecken signifikant verbessern und gleichzeitig effektive Angriffe liefern kann, was es zu einem wertvollen Beitrag im Bereich des feindlichen maschinellen Lernens macht.