Computer Vision – ECCV 2022
17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part V
- 2022
- Buch
- Herausgegeben von
- Shai Avidan
- Gabriel Brostow
- Moustapha Cissé
- Giovanni Maria Farinella
- Tal Hassner
- Buchreihe
- Lecture Notes in Computer Science
- Verlag
- Springer Nature Switzerland
Über dieses Buch
Das 39-bändige Set, bestehend aus den LNCS-Büchern 13661 bis 13699, stellt die referierten Beiträge der 17. Europäischen Konferenz für Computervision, ECCV 2022, dar, die vom 23. bis 27. Oktober 2022 in Tel Aviv, Israel, stattfand. Die 1645 in diesem Verfahren präsentierten Arbeiten wurden sorgfältig geprüft und aus insgesamt 5804 Einreichungen ausgewählt. Die Beiträge behandeln Themen wie Computervision, maschinelles Lernen, tiefe neuronale Netzwerke, Verstärkungslernen, Objekterkennung, Bildklassifizierung, Bildverarbeitung, Objekterkennung, semantische Segmentierung, menschliche Pose, 3D-Rekonstruktion, Stereovision, Computerfotografie, neuronale Netzwerke, Bildcodierung, Bildrekonstruktion, Objekterkennung, Bewegungseinschätzung.
Mit KI übersetzt
Über dieses Buch
The 39-volume set, comprising the LNCS books 13661 until 13699, constitutes the refereed proceedings of the 17th European Conference on Computer Vision, ECCV 2022, held in Tel Aviv, Israel, during October 23–27, 2022.
The 1645 papers presented in these proceedings were carefully reviewed and selected from a total of 5804 submissions. The papers deal with topics such as computer vision; machine learning; deep neural networks; reinforcement learning; object recognition; image classification; image processing; object detection; semantic segmentation; human pose estimation; 3d reconstruction; stereo vision; computational photography; neural networks; image coding; image reconstruction; object recognition; motion estimation.
Anzeige
Inhaltsverzeichnis
-
Frontmatter
-
Adaptive Image Transformations for Transfer-Based Adversarial Attack
Zheng Yuan, Jie Zhang, Shiguang ShanDas Kapitel diskutiert die Anfälligkeit von tiefen neuronalen Netzwerken gegenüber feindlichen Angriffen und stellt den Adaptive Image Transformation Learner (AITL) vor, eine neuartige Architektur, die die Übertragbarkeit von feindlichen Beispielen verbessert. Im Gegensatz zu bestehenden Methoden, die feste Bildtransformationen verwenden, wählt AITL adaptiv die effektivste Transformationskombination für jedes Bild aus. Umfangreiche Experimente im ImageNet zeigen signifikante Verbesserungen bei den Angriffserfolgsraten sowohl gegenüber normalerweise trainierten Modellen als auch gegenüber Verteidigungsmodellen und unterstreichen die Überlegenheit der vorgeschlagenen Methode im Bereich feindlicher Angriffe.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractAdversarial attacks provide a good way to study the robustness of deep learning models. One category of methods in transfer-based black-box attack utilizes several image transformation operations to improve the transferability of adversarial examples, which is effective, but fails to take the specific characteristic of the input image into consideration. In this work, we propose a novel architecture, called Adaptive Image Transformation Learner (AITL), which incorporates different image transformation operations into a unified framework to further improve the transferability of adversarial examples. Unlike the fixed combinational transformations used in existing works, our elaborately designed transformation learner adaptively selects the most effective combination of image transformations specific to the input image. Extensive experiments on ImageNet demonstrate that our method significantly improves the attack success rates on both normally trained models and defense models under various settings. -
Generative Multiplane Images: Making a 2D GAN 3D-Aware
Xiaoming Zhao, Fangchang Ma, David Güera, Zhile Ren, Alexander G. Schwing, Alex ColburnDas Kapitel befasst sich mit der Entwicklung einer neuen Methode, um ein 2D GAN 3D-bewusst zu machen, indem ein zusätzlicher Zweig zur Erzeugung von Alphakarten eingeführt wird, die auf die Tiefe konditioniert sind und den Diskriminator in Pose konditionieren. Dieser Ansatz, der als "Generative Multiplane Images" (GMPI) bezeichnet wird, gewährleistet eine einheitliche Ansicht und effizientes Rendering und zeigt signifikante Verbesserungen des 3D-Bewusstseins bei minimalen Anpassungen an der bestehenden GAN-Architektur. Die Methode wurde anhand dreier hochauflösender Datensätze validiert, was ihre Wirksamkeit und Effizienz im Vergleich zu modernen Methoden aufzeigt. Die Studie hebt auch die Grenzen traditioneller 2D-GAN-Bewertungsmetriken hervor und schlägt geeignetere Metriken zur Bewertung 3D-bewusster generativer Modelle vor.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractWhat is really needed to make an existing 2D GAN 3D-aware? To answer this question, we modify a classical GAN, i.e., StyleGANv2, as little as possible. We find that only two modifications are absolutely necessary: 1) a multiplane image style generator branch which produces a set of alpha maps conditioned on their depth; 2) a pose-conditioned discriminator. We refer to the generated output as a ‘generative multiplane image’ (GMPI) and emphasize that its renderings are not only high-quality but also guaranteed to be view-consistent, which makes GMPIs different from many prior works. Importantly, the number of alpha maps can be dynamically adjusted and can differ between training and inference, alleviating memory concerns and enabling fast training of GMPIs in less than half a day at a resolution of \(1024^2\). Our findings are consistent across three challenging and common high-resolution datasets, including FFHQ, AFHQv2 and MetFaces. -
AdvDO: Realistic Adversarial Attacks for Trajectory Prediction
Yulong Cao, Chaowei Xiao, Anima Anandkumar, Danfei Xu, Marco PavoneDas Kapitel vertieft sich in das kritische Thema der feindlichen Angriffe auf Flugbahnvorhersagesysteme in autonomen Fahrzeugen (AVs) und hebt deren Potenzial hervor, AVs in die Irre zu führen, um unsichere Entscheidungen zu treffen. Es führt eine neue Angriffsmethode ein, AdvDO, die ein differenzierbares dynamisches Modell verwendet, um realistische gegnerische Flugbahnen zu erzeugen. Die Autoren zeigen, dass diese Angriffe Vorhersagefehler deutlich erhöhen und zu schwerwiegenden Folgen wie Kollisionen führen können. Das Kapitel bewertet auch die Effektivität der vorgeschlagenen Angriffe auf hochmoderne Vorhersagemodelle und untersucht Minderungsstrategien durch feindseliges Training. Der einzigartige Fokus auf den Realismus und die Effektivität gegnerischer Angriffe macht dieses Kapitel zu einer wertvollen Ressource für Forscher und Praktiker im Bereich der AV-Sicherheit.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractTrajectory prediction is essential for autonomous vehicles (AVs) to plan correct and safe driving behaviors. While many prior works aim to achieve higher prediction accuracy, few study the adversarial robustness of their methods. To bridge this gap, we propose to study the adversarial robustness of data-driven trajectory prediction systems. We devise an optimization-based adversarial attack framework that leverages a carefully-designed differentiable dynamic model to generate realistic adversarial trajectories. Empirically, we benchmark the adversarial robustness of state-of-the-art prediction models and show that our attack increases the prediction error for both general metrics and planning-aware metrics by more than 50% and 37%. We also show that our attack can lead an AV to drive off road or collide into other vehicles in simulation. Finally, we demonstrate how to mitigate the adversarial attacks using an adversarial training scheme (Our project website is at https://robustav.github.io/RobustPred). -
Adversarial Contrastive Learning via Asymmetric InfoNCE
Qiying Yu, Jieming Lou, Xianyuan Zhan, Qizhang Li, Wangmeng Zuo, Yang Liu, Jingjing LiuDas Kapitel stellt einen neuartigen Ansatz für kontrastives Lernen vor, der sich der Herausforderung der Identitätsverwirrung widmet, wenn Modelle widrigen Stichproben ausgesetzt sind. Indem sie eine asymmetrische Verlustfunktion von InfoNCE vorschlagen, behandeln die Autoren gegnerische Proben als minderwertige Positive oder harte Negative, wodurch die widersprüchlichen Auswirkungen von kontrastivem Lernen und konträren Trainingszielen effektiv abgemildert werden. Experimentelle Ergebnisse zeigen die überlegene Leistung dieses Ansatzes bei der Verbesserung sowohl der Standard- als auch der robusten Genauigkeit über verschiedene Datensätze und Trainingsstrategien hinweg. Die Kompatibilität der Methode mit bestehenden Rahmenwerken und ihr Potenzial zur Übertragbarkeit machen sie zu einem bedeutenden Beitrag im Bereich des selbstüberwachten Lernens und der gegnerischen Robustheit.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractContrastive learning (CL) has recently been applied to adversarial learning tasks. Such practice considers adversarial samples as additional positive views of an instance, and by maximizing their agreements with each other, yields better adversarial robustness. However, this mechanism can be potentially flawed, since adversarial perturbations may cause instance-level identity confusion, which can impede CL performance by pulling together different instances with separate identities. To address this issue, we propose to treat adversarial samples unequally when contrasted, with an asymmetric InfoNCE objective (A-InfoNCE) that allows discriminating considerations of adversarial samples. Specifically, adversaries are viewed as inferior positives that induce weaker learning signals, or as hard negatives exhibiting higher contrast to other negative samples. In the asymmetric fashion, the adverse impacts of conflicting objectives between CL and adversarial learning can be effectively mitigated. Experiments show that our approach consistently outperforms existing Adversarial CL methods across different finetuning schemes without additional computational cost. The proposed A-InfoNCE is also a generic form that can be readily extended to other CL methods. Code is available at https://github.com/yqy2001/A-InfoNCE. -
One Size Does NOT Fit All: Data-Adaptive Adversarial Training
Shuo Yang, Chang XuDas Kapitel geht auf die Herausforderungen ein, die sich durch widersprüchliche Beispiele des Deep Learning ergeben, insbesondere ihre Auswirkungen auf die Brüchigkeit tiefer neuronaler Netzwerke. Es werden die üblichen, feindseligen Trainingsmethoden und ihre Grenzen diskutiert und der Zielkonflikt zwischen natürlicher Genauigkeit und Robustheit hervorgehoben. Die Autoren stellen einen neuen Ansatz namens Data-Adaptive Adversarial Training (DAAT) vor, der die Störungsgröße für jedes Trainingsbeispiel adaptiv anpasst, um die natürliche Genauigkeit besser zu erhalten und gleichzeitig die Robustheit zu erhöhen. Die Methode verwendet ein Kalibriernetzwerk, das auf natürliche Daten trainiert ist, um die Störungsgröße zu bestimmen, wodurch sichergestellt wird, dass die Verallgemeinerungsfähigkeit erhalten bleibt. Empirische Experimente zeigen die Effektivität von DAAT bei der Verbesserung sowohl der natürlichen Genauigkeit als auch der Robustheit, was es zu einer vielversprechenden Lösung im Bereich des gegnerischen Trainings macht.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractAdversarial robustness is critical for deep learning models to defend against adversarial attacks. Although adversarial training is considered to be one of the most effective ways to improve the model’s adversarial robustness, it usually yields models with lower natural accuracy. In this paper, we argue that, for the attackable examples, traditional adversarial training which utilizes a fixed size perturbation ball can create adversarial examples that deviate far away from the original class towards the target class. Thus, the model’s performance on the natural target class will drop drastically, which leads to the decline of natural accuracy. To this end, we propose the Data-Adaptive Adversarial Training (DAAT) which adaptively adjusts the perturbation ball to a proper size for each of the natural examples with the help of a natural trained calibration network. Besides, a dynamic training strategy empowers the DAAT models with impressive robustness while retaining remarkable natural accuracy. Based on a toy example, we theoretically prove the recession of the natural accuracy caused by adversarial training and show how the data-adaptive perturbation size helps the model resist it. Finally, empirical experiments on benchmark datasets demonstrate the significant improvement of DAAT models on natural accuracy compared with strong baselines. -
UniCR: Universally Approximated Certified Robustness via Randomized Smoothing
Hanbin Hong, Binghui Wang, Yuan HongDas Kapitel "UniCR: Universally Approximated Certified Robustness via Randomized Smoothing" geht den Schwachstellen maschineller Lernklassifikatoren gegenüber feindlichen Störungen und den jüngsten Fortschritten in der zertifizierten Abwehr nach. Es führt das UniCR-Rahmenwerk ein, das randomisierte Glättung nutzt, um eine universell anwendbare Methode zur Zertifizierung der Robustheit von Klassifikatoren gegenüber Störungen und Geräuschverteilungen anzubieten. Das Rahmenwerk automatisiert den Zertifizierungsprozess und validiert die Dichtheit des zertifizierten Radius, was eine deutliche Verbesserung gegenüber bestehenden Methoden darstellt. Das Kapitel untersucht auch die Optimierung der Funktion der Rauschwahrscheinlichkeit, um die zertifizierte Robustheit zu verbessern, und demonstriert die Praktikabilität und Effektivität des UniCR-Rahmenwerks durch umfangreiche Experimente an verschiedenen Datensätzen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractWe study certified robustness of machine learning classifiers against adversarial perturbations. In particular, we propose the first universally approximated certified robustness (UniCR) framework, which can approximate the robustness certification of any input on any classifier against any \(\ell _p\) perturbations with noise generated by any continuous probability distribution. Compared with the state-of-the-art certified defenses, UniCR provides many significant benefits: (1) the first universal robustness certification framework for the above 4 “any”s; (2) automatic robustness certification that avoids case-by-case analysis, (3) tightness validation of certified robustness, and (4) optimality validation of noise distributions used by randomized smoothing. We conduct extensive experiments to validate the above benefits of UniCR and the advantages of UniCR over state-of-the-art certified defenses against \(\ell _p\) perturbations. -
Hardly Perceptible Trojan Attack Against Neural Networks with Bit Flips
Jiawang Bai, Kuofeng Gao, Dihong Gong, Shu-Tao Xia, Zhifeng Li, Wei LiuDas Kapitel behandelt einen ausgeklügelten Trojaner-Angriff auf neuronale Netzwerke, der Bit-Flips beinhaltet und darauf abzielt, hochwirksame und kaum wahrnehmbare Auslöser zu erzeugen. Die Methode namens Hardly Perceptible Trojan (HPT) modifiziert Pixelwerte und -positionen in Bildern, um schwer erkennbare Trojaner-Bilder zu erzeugen. HPT wird als Mixed-Integer-Programmierproblem formuliert und mittels eines Optimierungsalgorithmus gelöst, der auf der Methode der Wechselrichtungsmultiplikatoren (ADMM) beruht. Das Kapitel stellt umfangreiche Experimente zu verschiedenen Datensätzen und Modellen vor, die zeigen, dass HPT eine überlegene Angriffsleistung bei gleichzeitiger Aufrechterhaltung hoher Wahrnehmungsqualität erzielt. Die Ergebnisse unterstreichen die potenziellen Bedrohungen und die Notwendigkeit fortgeschrittener Abwehrmaßnahmen gegen derartige Angriffe in entfalteten neuronalen Netzwerken.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractThe security of deep neural networks (DNNs) has attracted increasing attention due to their widespread use in various applications. Recently, the deployed DNNs have been demonstrated to be vulnerable to Trojan attacks, which manipulate model parameters with bit flips to inject a hidden behavior and activate it by a specific trigger pattern. However, all existing Trojan attacks adopt noticeable patch-based triggers (e.g., a square pattern), making them perceptible to humans and easy to be spotted by machines. In this paper, we present a novel attack, namely hardly perceptible Trojan attack (HPT). HPT crafts hardly perceptible Trojan images by utilizing the additive noise and per-pixel flow field to tweak the pixel values and positions of the original images, respectively. To achieve superior attack performance, we propose to jointly optimize bit flips, additive noise, and flow field. Since the weight bits of the DNNs are binary, this problem is very hard to be solved. We handle the binary constraint with equivalent replacement and provide an effective optimization algorithm. Extensive experiments on CIFAR-10, SVHN, and ImageNet datasets show that the proposed HPT can generate hardly perceptible Trojan images, while achieving comparable or better attack performance compared to the state-of-the-art methods. The code is available at: https://github.com/jiawangbai/HPT. -
Robust Network Architecture Search via Feature Distortion Restraining
Yaguan Qian, Shenghui Huang, Bin Wang, Xiang Ling, Xiaohui Guan, Zhaoquan Gu, Shaoning Zeng, Wujie Zhou, Haijiang WangDas Kapitel untersucht die Schwachstellen von Deep Neural Networks (DNNs) anhand widersprüchlicher Beispiele und die Bedeutung der Netzwerkstruktur für die Verbesserung der Robustheit. Es führt die Methode Robust Network Architecture Search (RNAS) ein, die Verzerrungsbeschränkungen nutzt, um Architekturen zu finden, die resistent gegen feindliche Angriffe sind. Die RNAS-Methode, die auf Differentiable Architecture Search (DARTS) basiert, nutzt eine multiobjektive zweistufige Optimierung, um die Anfälligkeit des Netzwerks zu minimieren. Umfangreiche Experimente mit verschiedenen Datensätzen zeigen die Überlegenheit des RNAS bei der Erreichung modernster Robustheit. Das Kapitel unterstreicht die Bedeutung von Merkmalsverzerrungen bei der Fehlklassifizierung, die durch widersprüchliche Beispiele verursacht werden, und die Übertragbarkeit der RNAS-Architektur auf verschiedene Datensätze.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractThe vulnerability of Deep Neural Networks, i.e., susceptibility to adversarial attacks, severely limits the application of DNNs in security-sensitive domains. Most of existing methods improve model robustness from weight optimization, such as adversarial training. However, the architecture of DNNs is also a key factor to robustness, which is often neglected or underestimated. We propose Robust Network Architecture Search (RNAS) to obtain a robust network against adversarial attacks. We observe that an adversarial perturbation distorting the non-robust features in latent feature space can further aggravate misclassification. Based on this observation, we search the robust architecture through restricting feature distortion in the search process. Specifically, we define a network vulnerability metric based on feature distortion as a constraint in the search process. This process is modeled as a multi-objective bilevel optimization problem and a novel algorithm is proposed to solve this optimization. Extensive experiments conducted on CIFAR-10/100 and SVHN show that RNAS achieves the best robustness under various adversarial attacks compared with extensive baselines and SOTA methods. -
SecretGen: Privacy Recovery on Pre-trained Models via Distribution Discrimination
Zhuowen Yuan, Fan Wu, Yunhui Long, Chaowei Xiao, Bo LiIm Kapitel "SecretGen: Privacy Recovery on Pre-trained Models via Distribution Discrimination" wird ein neuartiges Rahmenwerk, SecretGen, vorgestellt, das darauf ausgelegt ist, private Trainingsdaten von vortrainierten Modellen wiederherzustellen. Dieses Rahmenwerk adressiert die Schwachstellen in der Privatsphäre, die Transferlernparadigmen innewohnen und die sich in verschiedenen Bereichen zunehmend durchsetzen. SecretGen besteht aus einem Generation-Backbone, einem Pseudo-Label-Prädiktor und einem latenten Vektor-Selektor, der optimiert wurde, um datenschutzsensible Trainingsinstanzen zu rekonstruieren, ohne dass Ground Truth Labels oder Whitebox-Zugriff auf das Zielmodell erforderlich sind. Die Autoren führen umfassende Experimente mit Gesichtsdatensätzen durch und zeigen, dass SecretGen sowohl in Whitebox- als auch in Blackbox-Einstellungen bestehende Methoden deutlich übertrifft. Zusätzlich bewertet das Kapitel die Robustheit von SecretGen gegenüber Verteidigungsmechanismen und führt Ablationsstudien durch, um die Wirksamkeit seiner Designentscheidungen zu überprüfen. Die Arbeit hebt die potenziellen Risiken hervor, die mit der Veröffentlichung vorab trainierter Modelle im Internet verbunden sind, und fordert weitere Forschungen zu Datenrettungs- und Verteidigungsmechanismen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractTransfer learning through the use of pre-trained models has become a growing trend for the machine learning community. Consequently, numerous pre-trained models are released online to facilitate further research. However, it raises extensive concerns on whether these pre-trained models would leak privacy-sensitive information of their training data. Thus, in this work, we aim to answer the following questions: “Can we effectively recover private information from these pre-trained models? What are the sufficient conditions to retrieve such sensitive information?” We first explore different statistical information which can discriminate the private training distribution from other distributions. Based on our observations, we propose a novel private data reconstruction framework, SecretGen, to effectively recover private information. Compared with previous methods which can recover private data with the ground truth label of the targeted recovery instance, SecretGen does not require such prior knowledge, making it more practical. We conduct extensive experiments on different datasets under diverse scenarios to compare SecretGen with other baselines and provide a systematic benchmark to better understand the impact of different auxiliary information and optimization operations. We show that without prior knowledge about true class prediction, SecretGen is able to recover private data with similar performance compared with the ones that leverage such prior knowledge. If the prior knowledge is given, SecretGen will significantly outperform baseline methods. We also propose several quantitative metrics to further quantify the privacy vulnerability of pre-trained models, which will help the model selection for privacy-sensitive applications. Our code is available at: https://github.com/AI-secure/SecretGen. -
Triangle Attack: A Query-Efficient Decision-Based Adversarial Attack
Xiaosen Wang, Zeliang Zhang, Kangheng Tong, Dihong Gong, Kun He, Zhifeng Li, Wei LiuIm Kapitel "Triangle Attack: A Query-Efficiency Decision-Based Adversarial Attack" wird eine neue Methode zur Generierung gegnerischer Beispiele vorgestellt, die tiefe neuronale Netzwerke (DNNs) mit minimalen Abfragen täuschen kann. Der Triangle Attack (TA) nutzt geometrische Eigenschaften, um Störungen im Niederfrequenzraum zu minimieren, was ihn hocheffizient und effektiv macht. Die Methode ist vor allem im Kontext sicherheitsrelevanter Anwendungen wie Gesichtserkennung und autonomes Fahren relevant, wo die Anfälligkeit für feindliche Beispiele erhebliche Bedrohungen darstellt. Durch die Konstruktion von Dreiecken im Frequenzraum optimiert TA feindliche Störungen ohne die Notwendigkeit einer Gradientenschätzung oder Beschränkung des feindlichen Beispiels auf die Entscheidungsgrenze. Umfangreiche Experimente mit Standardmodellen und Anwendungen in der realen Welt zeigen die überlegene Leistung von TA und unterstreichen ihre praktische Anwendbarkeit und ihr Potenzial, das Feld der feindlichen Angriffe und Abwehrmaßnahmen voranzutreiben.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractDecision-based attack poses a severe threat to real-world applications since it regards the target model as a black box and only accesses the hard prediction label. Great efforts have been made recently to decrease the number of queries; however, existing decision-based attacks still require thousands of queries in order to generate good quality adversarial examples. In this work, we find that a benign sample, the current and the next adversarial examples can naturally construct a triangle in a subspace for any iterative attacks. Based on the law of sines, we propose a novel Triangle Attack (TA) to optimize the perturbation by utilizing the geometric information that the longer side is always opposite the larger angle in any triangle. However, directly applying such information on the input image is ineffective because it cannot thoroughly explore the neighborhood of the input sample in the high dimensional space. To address this issue, TA optimizes the perturbation in the low frequency space for effective dimensionality reduction owing to the generality of such geometric property. Extensive evaluations on ImageNet dataset show that TA achieves a much higher attack success rate within 1,000 queries and needs a much less number of queries to achieve the same attack success rate under various perturbation budgets than existing decision-based attacks. With such high efficiency, we further validate the applicability of TA on real-world API, i.e., Tencent Cloud API. -
Data-Free Backdoor Removal Based on Channel Lipschitzness
Runkai Zheng, Rongjun Tang, Jianze Li, Li LiuDas Kapitel geht dem Problem der Backdoor-Angriffe auf tiefe neuronale Netzwerke nach und hebt die Schwere derartiger Bedrohungen in sicherheitskritischen Bereichen hervor. Es führt in das Konzept des Channel Lipschitzness ein und zeigt, wie es genutzt werden kann, um sensible Kanäle im Zusammenhang mit Backdoor-Triggern zu identifizieren und zu beschneiden. Die vorgeschlagene Methode des Channel Lipschitzness Based Pruning (CLP) ist datenfrei, effizient und robust und zeigt vielversprechende Ergebnisse bei der Verringerung der Angriffserfolge bei gleichzeitiger Aufrechterhaltung hoher Genauigkeit sauberer Daten. Umfangreiche Experimente zu verschiedenen Angriffen und Datensätzen bestätigen die Wirksamkeit von CLP und leisten damit einen bedeutenden Beitrag im Bereich der Modellsicherheit.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractRecent studies have shown that Deep Neural Networks (DNNs) are vulnerable to the backdoor attacks, which leads to malicious behaviors of DNNs when specific triggers are attached to the input images. It was further demonstrated that the infected DNNs possess a collection of channels, which are more sensitive to the backdoor triggers compared with normal channels. Pruning these channels was then shown to be effective in mitigating the backdoor behaviors. To locate those channels, it is natural to consider their Lipschitzness, which measures their sensitivity against worst-case perturbations on the inputs. In this work, we introduce a novel concept called Channel Lipschitz Constant (CLC), which is defined as the Lipschitz constant of the mapping from the input images to the output of each channel. Then we provide empirical evidences to show the strong correlation between an Upper bound of the CLC (UCLC) and the trigger-activated change on the channel activation. Since UCLC can be directly calculated from the weight matrices, we can detect the potential backdoor channels in a data-free manner, and do simple pruning on the infected DNN to repair the model. The proposed Channel Lipschitzness based Pruning (CLP) method is super fast, simple, data-free and robust to the choice of the pruning threshold. Extensive experiments are conducted to evaluate the efficiency and effectiveness of CLP, which achieves state-of-the-art results among the mainstream defense methods even without any data. Source codes are available at https://github.com/rkteddy/channel-Lipschitzness-based-pruning. -
Black-Box Dissector: Towards Erasing-Based Hard-Label Model Stealing Attack
Yixu Wang, Jie Li, Hong Liu, Yan Wang, Yongjian Wu, Feiyue Huang, Rongrong JiDas Kapitel geht auf die Risiken von Model-Steal-Angriffen auf Cloud-basierte maschinelle Lernmodelle ein und konzentriert sich auf das herausfordernde Szenario, in dem nur harte Etiketten verfügbar sind. Es stellt den Black-Box-Dissector vor, eine Methode, die eine CAM-gesteuerte Löschstrategie und ein selbstentwickeltes KD-Modul einsetzt, um die für frühere Methoden typische Leistungsverschlechterung abzumildern. Der Ansatz wird durch umfangreiche Experimente an vier weit verbreiteten Datensätzen validiert, was seine Überlegenheit gegenüber modernsten Methoden zeigt. Darüber hinaus wird die Wirksamkeit der Methode durch die Umgehung fortschrittlicher Verteidigungsmechanismen und ihre praktische Anwendung in realen Anwendungen wie AWS Marketplace unter Beweis gestellt. Das Kapitel schließt mit der Hervorhebung des Potenzials der Methode, nachgelagerte Aufgaben wie übertragbare feindliche Angriffe zu verbessern, was sie zu einer wertvollen Ressource für Fachleute auf diesem Gebiet macht.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractPrevious studies have verified that the functionality of black-box models can be stolen with full probability outputs. However, under the more practical hard-label setting, we observe that existing methods suffer from catastrophic performance degradation. We argue this is due to the lack of rich information in the probability prediction and the overfitting caused by hard labels. To this end, we propose a novel hard-label model stealing method termed black-box dissector, which consists of two erasing-based modules. One is a CAM-driven erasing strategy that is designed to increase the information capacity hidden in hard labels from the victim model. The other is a random-erasing-based self-knowledge distillation module that utilizes soft labels from the substitute model to mitigate overfitting. Extensive experiments on four widely-used datasets consistently demonstrate that our method outperforms state-of-the-art methods, with an improvement of at most \(8.27\%\). We also validate the effectiveness and practical potential of our method on real-world APIs and defense methods. Furthermore, our method promotes other related tasks, i.e., transfer adversarial attacks. -
Learning Energy-Based Models with Adversarial Training
Xuwang Yin, Shiying Li, Gustavo K. RohdeDieses Kapitel befasst sich mit der Anwendung von Adversarial Training (AT), um das Lernen von energiebasierten Modellen (EBMs) zu verbessern. Traditionelle EBMs stehen vor Herausforderungen in Bezug auf Recheneffizienz und Trainingsstabilität, während AT vielversprechend darin ist, hochklassige Features zu erlernen. Die Autoren untersuchen den Mechanismus, durch den AT Datenverteilungen lernt, und schlagen verbesserte Techniken zur generativen Modellierung vor. Sie zeigen, dass binäres AT als ein Lernalgorithmus mit annähernder maximaler Wahrscheinlichkeit angesehen werden kann, der bei Bildübersetzungsaufgaben konkurrenzfähige Erzeugungsleistung und Robustheit erreicht. Das Kapitel unterstreicht auch die starke verteilungsfeindliche Robustheit des vorgeschlagenen Ansatzes, was auf sein Potenzial bei der Erkennung abnormaler Eingaben und feindlich erzeugter Inhalte hindeutet.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractWe study a new approach to learning energy-based models (EBMs) based on adversarial training (AT). We show that (binary) AT learns a special kind of energy function that models the support of the data distribution, and the learning process is closely related to MCMC-based maximum likelihood learning of EBMs. We further propose improved techniques for generative modeling with AT, and demonstrate that this new approach is capable of generating diverse and realistic images. Aside from having competitive image generation performance to explicit EBMs, the studied approach is stable to train, is well-suited for image translation tasks, and exhibits strong out-of-distribution adversarial robustness. Our results demonstrate the viability of the AT approach to generative modeling, suggesting that AT is a competitive alternative approach to learning EBMs. -
Adversarial Label Poisoning Attack on Graph Neural Networks via Label Propagation
Ganlin Liu, Xiaowei Huang, Xinping YiDas Kapitel vertieft das wachsende Interesse an neuronalen Graphennetzen (Graph Neural Networks, GNNs) für verschiedene Aufgaben der Computervision und des maschinellen Lernens und beleuchtet ihre Anwendungen in den Bereichen Knotenklassifizierung, Klassifizierung von Graphen und Linkvorhersage. Es führt ein neuartiges Rahmenwerk für Angriffe auf Etikettenvergiftungen ein, das die Ausbreitung von Etiketten nutzt, um vorhersagende Etiketten und maximale Gradienten zu generieren, um Trainingsdaten zu vergiften. Diese Methode ist besonders effektiv für die Klassifizierung mehrerer Klassen von Knoten und erfordert keinen Zugriff auf die Modellparameter neuronaler Netzwerke in GCNs. Die Autoren demonstrieren die Effektivität und Effizienz ihrer vorgeschlagenen Methode durch umfangreiche Experimente an verschiedenen GNN-Modellen und Datensätzen und zeigen ihr Potenzial auf, die Leistung der Knotenklassifikationsaufgaben signifikant zu reduzieren.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractGraph neural networks (GNNs) have achieved outstanding performance in semi-supervised learning tasks with partially labeled graph structured data. However, labeling graph data for training is a challenging task, and inaccurate labels may mislead the training process to erroneous GNN models for node classification. In this paper, we consider label poisoning attacks on training data, where the labels of input data are modified by an adversary before training, to understand to what extent the state-of-the-art GNN models are resistant/vulnerable to such attacks. Specifically, we propose a label poisoning attack framework for graph convolutional networks (GCNs), inspired by the equivalence between label propagation and decoupled GCNs that separate message passing from neural networks. Instead of attacking the entire GCN models, we propose to attack solely label propagation for message passing. It turns out that a gradient-based attack on label propagation is effective and efficient towards the misleading of GCN training. More remarkably, such label attack can be topology-agnostic in the sense that the labels to be attacked can be efficiently chosen without knowing graph structures. Extensive experimental results demonstrate the effectiveness of the proposed method against state-of-the-art GCN-like models. -
Revisiting Outer Optimization in Adversarial Training
Ali Dabouei, Fariborz Taherkhani, Sobhan Soleymani, Nasser M. NasrabadiDas Kapitel "Revisiting Outer Optimization in Adversarial Training" widmet sich der kritischen Frage der feindlichen Suszeptibilität in tiefen neuronalen Netzwerken (DNNs) und der Effektivität von adversarial Training (AT) bei der Verbesserung der Robustheit. Er beleuchtet die Mängel des konventionellen MSGD-Optimierers in AT und führt die Methode des beispielhaft normalisierten Gradientenabstiegs mit Momentum (ENGM) ein. ENGM ist so konzipiert, dass es weniger empfindlich auf Gradientennorm und Varianz reagiert, was eine überlegene Leistung und Verallgemeinerung in AT bietet. Das Kapitel liefert auch empirische Belege und Ablationsstudien, um die Wirksamkeit von ENGM und seine schnellen Annäherungen zu bestätigen. Insgesamt bietet dieses Kapitel wertvolle Erkenntnisse und praktische Lösungen zur Verbesserung der Robustheit von DNNs in sicherheitsrelevanten Anwendungen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractDespite the fundamental distinction between adversarial and natural training (AT and NT), AT methods generally adopt momentum SGD (MSGD) for the outer optimization. This paper aims to analyze this choice by investigating the overlooked role of outer optimization in AT. Our exploratory evaluations reveal that AT induces higher gradient norm and variance compared to NT. This phenomenon hinders the outer optimization in AT since the convergence rate of MSGD is highly dependent on the variance of the gradients. To this end, we propose an optimization method called ENGM which regularizes the contribution of each input example to the average mini-batch gradients. We prove that the convergence rate of ENGM is independent of the variance of the gradients, and thus, it is suitable for AT. We introduce a trick to reduce the computational cost of ENGM using empirical observations on the correlation between the norm of gradients w.r.t. the network parameters and input examples. Our extensive evaluations and ablation studies on CIFAR-10, CIFAR-100, and TinyImageNet demonstrate that ENGM and its variants consistently improve the performance of a wide range of AT methods. Furthermore, ENGM alleviates major shortcomings of AT including robust overfitting and high sensitivity to hyperparameter settings. -
Zero-Shot Attribute Attacks on Fine-Grained Recognition Models
Nasim Shafiee, Ehsan ElhamifarDas Kapitel geht der Anfälligkeit von Deep Neural Networks (DNNs) für feinkörnige Erkennungsmodelle nach und konzentriert sich dabei insbesondere auf Zero-Shot-Attributangriffe. Traditionelle universelle Störungen versäumen es, die subtilen Unterschiede zwischen feinkörnigen Klassen zu erfassen. Das vorgeschlagene kompositorische Rahmenwerk erzeugt attributbasierte universelle Störungen (AUPs) und lernt, sie für effektive und verallgemeinerbare Angriffe zu komponieren. Experimentelle Ergebnisse zeigen die überlegene Leistung des kompositorischen Modells gegenüber bestehenden Methoden und unterstreichen seine Fähigkeit, gut über verschiedene Architekturen und Datensätze hinweg zu übertragen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractZero-shot fine-grained recognition is an important classification task, whose goal is to recognize visually very similar classes, including the ones without training images. Despite recent advances on the development of zero-shot fine-grained recognition methods, the robustness of such models to adversarial attacks is not well understood. On the other hand, adversarial attacks have been widely studied for conventional classification with visually distinct classes. Such attacks, in particular, universal perturbations that are class-agnostic and ideally should generalize to unseen classes, however, cannot leverage or capture small distinctions among fine-grained classes. Therefore, we propose a compositional attribute-based framework for generating adversarial attacks on zero-shot fine-grained recognition models. To generate attacks that capture small differences between fine-grained classes, generalize well to previously unseen classes and can be applied in real-time, we propose to learn and compose multiple attribute-based universal perturbations (AUPs). Each AUP corresponds to an image-agnostic perturbation on a specific attribute. To build our attack, we compose AUPs with weights obtained by learning a class-attribute compatibility function. To learn the AUPs and the parameters of our model, we minimize a loss, consisting of a ranking loss and a novel utility loss, which ensures AUPs are effectively learned and utilized. By extensive experiments on three datasets for zero-shot fine-grained recognition, we show that our attacks outperform conventional universal classification attacks and transfer well between different recognition architectures. -
Towards Effective and Robust Neural Trojan Defenses via Input Filtering
Kien Do, Haripriya Harikumar, Hung Le, Dung Nguyen, Truyen Tran, Santu Rana, Dang Nguyen, Willy Susilo, Svetha VenkateshDas Kapitel geht auf die Schwachstellen tiefer neuronaler Netzwerke (DNNs) gegenüber Trojaner-Angriffen ein und unterstreicht die Notwendigkeit robuster Abwehrmechanismen. Es werden zwei neuartige Filterabwehrmechanismen eingeführt, Variational Input Filtering (VIF) und Adversarial Input Filtering (AIF), die verlustbehaftete Datenkomprimierung und feindseliges Lernen nutzen, um potenzielle Trojaner-Trigger im Input des Modells zu bereinigen. Zusätzlich wird der Mechanismus "Filtering-then-Contrasting" (FtC) vorgeschlagen, um die Ergebnisse des Modells mit und ohne Eingabefilterung zu vergleichen und so die Genauigkeit sauberer Datenvorhersagen zu verbessern. Durch umfangreiche Experimente zeigt das Kapitel die überlegene Leistung dieser Abwehrmechanismen gegen verschiedene fortgeschrittene trojanische Angriffe und zeigt ihre Wirksamkeit und Robustheit.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractTrojan attacks on deep neural networks are both dangerous and surreptitious. Over the past few years, Trojan attacks have advanced from using only a single input-agnostic trigger and targeting only one class to using multiple, input-specific triggers and targeting multiple classes. However, Trojan defenses have not caught up with this development. Most defense methods still make inadequate assumptions about Trojan triggers and target classes, thus, can be easily circumvented by modern Trojan attacks. To deal with this problem, we propose two novel “filtering” defenses called Variational Input Filtering (VIF) and Adversarial Input Filtering (AIF) which leverage lossy data compression and adversarial learning respectively to effectively purify potential Trojan triggers in the input at run time without making assumptions about the number of triggers/target classes or the input dependence property of triggers. In addition, we introduce a new defense mechanism called “Filtering-then-Contrasting” (FtC) which helps avoid the drop in classification accuracy on clean data caused by “filtering”, and combine it with VIF/AIF to derive new defenses of this kind. Extensive experimental results and ablation studies show that our proposed defenses significantly outperform well-known baseline defenses in mitigating five advanced Trojan attacks including two recent state-of-the-art while being quite robust to small amounts of training data and large-norm triggers.
- Titel
- Computer Vision – ECCV 2022
- Herausgegeben von
-
Shai Avidan
Gabriel Brostow
Moustapha Cissé
Giovanni Maria Farinella
Tal Hassner
- Copyright-Jahr
- 2022
- Verlag
- Springer Nature Switzerland
- Electronic ISBN
- 978-3-031-20065-6
- Print ISBN
- 978-3-031-20064-9
- DOI
- https://doi.org/10.1007/978-3-031-20065-6
Informationen zur Barrierefreiheit für dieses Buch folgen in Kürze. Wir arbeiten daran, sie so schnell wie möglich verfügbar zu machen. Vielen Dank für Ihre Geduld.
