Skip to main content

Verifikation und Sicherheit für Neuronale Netze und Machine Learning

  • Living reference work entry
  • First Online:
Philosophisches Handbuch Künstliche Intelligenz

Part of the book series: Springer Reference Geisteswissenschaften ((SPREFGEIST))

Zusammenfassung

Im Machine learning spielen neuronale Netze nach dem Vorbild des menschlichen Gehirns eine dominante Rolle. Der Durchbruch der KI-Forschung in der Praxis hängt wesentlich mit der Fähigkeit neuronaler Netze zusammen, große Datenmengen (Big Data) z. B. bei der Mustererkennung, beim autonomen Fahren, in der Robotik und in Industrie 4.0 mit effektiven Lernalgorithmen anzuwenden. Obwohl die technische Zivilisation zunehmend von diesen KI-Algorithmen abhängt, sind sie mit erheblichen Sicherheitsrisiken verbunden. Praktische Anwendungen erfordern Tausende von Neuronen und Synapsen in mehrschichtigen neuronalen Netzen (deep learning), die statistisch nur mit endlich vielen Datensätzen von Inputs und Outputs trainiert werden: Man setzt auf die statistischen Erwahrtungswahrscheinlichkeiten von gewünschten Outputs (z. B. Bewegungsverhalten von Robotern, Automobilen und Flugzeugen), die durch geeignete Trainingsdaten erreicht werden sollen. Niemand durchschaut aber bzw. kann im Einzelnen kontrollieren, was in den nicht linearen Wechselwirkungen der Neuronen und Synapsen zwischen Inputs und Outputs abläuft. Daher sind diese neuronalen Netze für Anwender und Entwickler „Schwarzen Kästen“ (Black Boxes), die grundlegende Fragen der Sicherheit, des Vertrauens in Technik und der Verantwortung aufwerfen. Dieser Artikel erklärt neuartige Verifikationsverfahren, mit denen Sicherheitsstandards von neuronalen Netzen berechnet und garantiert werden können (Xiang et al. 2018). Bemerkenswert ist, dass diese Verifikationsverfahren aus der logisch-mathematischen Grundlagenforschung abgeleitet sind. Sie unterstreichen deshalb noch einmal (wie häufig in diesem Handbuch), dass Fragen der Sicherheit, Ethik und Verantwortung nicht von der Grundlagenforschung und Erkenntnistheorie getrennt werden können.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Institutional subscriptions

Literatur

  • Bayardo, Roberto J., und Robert C. Schrag. 1997. Using CSP look-back techniques to solve real world SAT instances. In Proceeding 14th National Conference on Artificial Intelligence (AAAI), 203–208.

    Google Scholar 

  • Biere, Armin, Marijn Heule, Hans van Maaren, und Toby Walsh, Hrsg. 2009. Handbook of satisfiability. Amsterdam: IOS Press.

    Google Scholar 

  • Bojarski, Mariusz, David Del Testa, Daniel Daworakowski, Bernhard Firner, Beat Flepp, Lawrence D. Prasoon Goyal, Mathew Monfort Jackel, Urs Muller, Jiakai Zhang, Xin Zhang, und Jake Zhao. 2016. End to end learning for self-driving cars. arXiv:1604-07316vl [cs.CV] 25 Apr 2016.

    Google Scholar 

  • Bunel, Rudy; Ilker Turkasian, Philip H. S. Torr, Pushmeet Kohli, und M. Pawan Kumar. 2017. A unified view of piecewise linear neural network verification. A comparative study. arXiv:1711.00455.

    Google Scholar 

  • Cheng, Chih-Hong, Georg Nührenberg, und Harald Ruess. 2017. Maximum resilience of artificial neural networks. In International Symposium on Automated Technology for Verification and Analysis, Lecture Notes in Computer Science, Bd. 10482, 251–268. Pune: Springer. ISBN 978-3-319-68166-5.

    Google Scholar 

  • Ehlers, Rüdiger. 2017. Formal verification of piece-wise linear feed-forward neural networks. Verification and analysis – 15th Intern (Bd. 10482, S. 269–286). Symposium ATVA, Lecture Notes in Computer Science, Springer.

    Google Scholar 

  • Fränzle, Martin, und Christian Herde. 2007. HySAT: An efficient proof engine for bounded model checking of hybrid systems. Formal Methods in System Design 30:179–198.

    Article  Google Scholar 

  • Gehr, Timon, Matthew Mirman, Dana Drachsler-Cohen, Peter Tsankov, Swarat Chaudhuri, und Martin Vechev. 2018. AI2: Safety and robustness certification of neural networks with abstract interpretation. In IEEE Symposium on Security and Privacy 39.

    Google Scholar 

  • Hornik, K., M. Stinchcombe, und H. White. 1989. Multilayer feedforward networks are universal approximators. Neural Networks 2:359–366.

    Article  Google Scholar 

  • Huang, Xiaowei, Marta Kwiatkowska, Sen Wang, und Min Wu. 2017. Safety verification of deep neural networks. In International Conference on Computer Aided Verification, 3–29, Springer.

    Google Scholar 

  • Katz Guy, David L., Clark Barrett, Kyle Julian Dill, und Mylel J. Kochenderfer. 2017. Reluplex: An efficient SMT Solver for verifying deep neural networks. In International Conference on Computer Aided Verification, 97–117. Springer.

    Google Scholar 

  • Lawrence, S., C. L. Giles, A. C. Tsoi, und A. D. Back. 1997. Face recognition: A convolutional neural-network approach. IEEE Transactions on Neural Networks 8:98–113.

    Article  Google Scholar 

  • Lecun, Yann, und Corinna Cortes. 2009. The MNIST database of handwritten digits. http://yann.lecun.com/exdb/mnist/. Zugegriffen am 21.01.2020.

  • Leofante, Francesco, Nina Narodytska, Luca Pulina, und Armando Tacchella. 2018. Automated verification of neural networks: advance, challenges and perspectives. arXiv: 1805.009938vl [cs.AI] 25 May 2018.

    Google Scholar 

  • Mainzer, Klaus. 2019. Künstliche Intelligenz. Wann übernehmen die Maschinen? 2. Aufl. Berlin: Springer.

    Book  Google Scholar 

  • Pulina, Luca, und Armando Taccella. 2011. NeVer: A tool for artificial neural network verification. Annals of Mathematics and Artificial Intelligence 62:403–425.

    Article  Google Scholar 

  • Pulina, Luca, und Armando Taccella. 2012. Challenging SMT solvers to verify neural networks. AI Communications 25:117–135.

    Article  Google Scholar 

  • Scherer, Dominik, Andreas C. Müller, und Sven Behnke. 2010. Evaluation of pooling operations in convolutional architectures for object recognition. In 20th International Conference on Artificial Neural Networks, 92–101. Springer.

    Google Scholar 

  • Schmidthuber, Jürgen. 2015. Deep learning in neural networks. An overview. Neural Networks 61:85–117.

    Article  Google Scholar 

  • Xiang, Weiming, Hoang-Dung, und Taylor T. Johnson. 2018a. Output reachable set estimation and verification for multi-layer neural networks. IEEE Transactions on Neural Networks and Learning Systems. arXiv: 1708.03322v2 [cs.LG] 20 Feb 2018.

    Google Scholar 

  • Xiang, Weiming, Ayana A. Patrick Musau Diego Manzanas Lopez Wild, Nathaniel Hamilton, Xiaodong Yang, Joel Rosenfeld, und Taylor T. Johnson. Verification for machine learning, autonomy, and neural networks survey. arXiv:1810.01989vl [cs.AI] 3 Oct 2018b.

    Google Scholar 

  • Zeng, X., und D. S. Yeung. 2003. A quantified sensitivity measure for multilayer perceptron to input perturbation. Neural Computation 15:183–212.

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Klaus Mainzer .

Editor information

Editors and Affiliations

Rights and permissions

Reprints and permissions

Copyright information

© 2020 Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature

About this entry

Check for updates. Verify currency and authenticity via CrossMark

Cite this entry

Mainzer, K. (2020). Verifikation und Sicherheit für Neuronale Netze und Machine Learning. In: Mainzer, K. (eds) Philosophisches Handbuch Künstliche Intelligenz. Springer Reference Geisteswissenschaften. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-23715-8_50-1

Download citation

  • DOI: https://doi.org/10.1007/978-3-658-23715-8_50-1

  • Received:

  • Accepted:

  • Published:

  • Publisher Name: Springer VS, Wiesbaden

  • Print ISBN: 978-3-658-23715-8

  • Online ISBN: 978-3-658-23715-8

  • eBook Packages: Springer Referenz Sozialwissenschaften und Recht

Publish with us

Policies and ethics