20. Künstliche Intelligenz in der Softwareentwicklung

Dadurch dass Anforderungen, z. B. in einem Ticketingsystem oder Lasten- oder Pflichtenheft, in natürlicher Sprache verfasst sind, werden schon seit einigen Jahren Methoden des Natural Language Processing (NLP) verwendet, um sie aufzubereiten und zu managen. In der Forschung sind dabei etliche Lösungen entstanden, von denen allerdings nur wenige in Produkten bzw. in der Praxis angekommen sind.

So wurde die Verarbeitung natürlicher Sprache etwa zur Identifikation von Fehlern in Anforderungsspezifikationen eingesetzt (Körner et al., 2014), um Zweideutigkeiten zu identifizieren, die zu Missverständnissen führen können (Ferrari et al., 2014, 2018), um Anforderungen zu validieren (Dell’Anna et al., 2018) oder um diese zu klassifizieren (Chatterjee et al., 2020; Anish et al., 2019). Einige Ansätze haben bereits vor der weiten Verbreitung großer Sprachmodelle generative Elemente integriert. So lassen sich aus natürlichsprachigen Anforderungen beispielsweise UML-Diagramme generieren (Sharma et al., 2015; Shen & Breaux, 2022), Domänenwissen aus Anforderungen gewinnen (Abad et al., 2018) oder Anforderungen selbst aus anderen Artefakten extrahieren (Guo et al., 2018; Rahman et al., 2023).

Deep-Learning-Verfahren, die von Grund auf trainiert werden – also mehrschichtige neuronale Netzwerke, die mit den verfügbaren anwendungsspezifischen Daten trainiert werden – werden seltener eingesetzt, mutmaßlich weil die benötigten Datenmengen für das Anlernen von neuronalen Netzen oft schwer zu beschaffen sind. Eine Ausnahme stellen Habib et al. (2021) dar, die einen Ansatz zur Anforderungsanalyse beschreiben.

Große Sprachmodelle (engl. Large Language Models, LLMs), die auf Deep Learning basieren und Transformer-Architekturen verwenden (Vaswani et al., 2017), haben insbesondere in den zuletzt genannten Use Cases schnell Anwendung gefunden, beispielsweise in der Klassifizierung von Anforderungen (Mehder & Aydemir, 2022). Es zeigt sich, dass große Sprachmodelle hierbei deutlich bessere Ergebnisse erzielen als die auf klassischen NLP-Architekturen basierenden Vorgänger. Die fortschreitende Verbesserung von LLMs, die z. B. beim Schritt von GPT-3.5 auf GPT-4 deutlich wurde, wird den Abstand noch weiter wachsen lassen. Aber vornehmlich generative Anwendungen werden durch LLMs auch künftig Aufwind erfahren. So sind bereits erste Arbeiten erschienen, die aus Sicherheitsanforderungen zumindest die Grundgerüste von Safety Assurance Cases, also strukturierten Argumentationen, warum ein System sicher ist, automatisch erzeugen (Sivakumar et al., 2024). LLMs bieten auch Lösungen für die Erhebung von Anforderungen: Gudaparthi et al. (2023) beschreiben eine Technik, um neue, kreative Alternativen für Anforderungen aus dem Korpus der existierenden Anforderungen zu generieren.

Eine der großen Herausforderungen im Requirements Engineering ist die Nachverfolgbarkeit (Traceability) der Anforderungen. In vielen Projekten, insbesondere solchen, die sicherheitskritisch sind, ist es notwendig oder gar vorgeschrieben, nachweisen zu können, an welchen Stellen im Quellcode Anforderungen umgesetzt wurden, wie sie validiert wurden und dass die Validierung erfolgreich war. Traceability ist und bleibt ein Problem in der Industrie (Maro et al., 2018), unter anderem weil der manuelle Aufwand, die Verbindungen zwischen Anforderungen und anderen Entwicklungsartefakten zu erstellen und zu pflegen, sehr hoch ist. Deswegen wurden bereits vor Jahren Methoden entwickelt, um NLP für diesen Zweck einzusetzen (Borg et al., 2014; Guo et al., 2024). Jedoch blieb bisher die Qualität in diesen Arbeiten immer so niedrig, dass ein produktiver Einsatz nicht sinnvoll war. Das Gleiche gilt für einen Ansatz, der die Verknüpfungen zwischen Entwicklungsartefakten als Netzwerk interpretiert und Ideen aus der Netzwerktheorie für die Erstellung neuer Verknüpfungen verwendet (Nicholson et al., 2020). Ansätze, die von Grund auf trainiertes Deep Learning verwenden (z. B. Guo et al., 2017), sind zwar vielversprechend, jedoch in der Praxis aufgrund der geringen Datenmengen, die kein effektives Training dieser anwendungsspezifischen Deep-Learning-Modelle erlauben, nicht einsetzbar. Erste Ideen, für die Erstellung von Verknüpfungen LLMs zu verwenden, wurden bereits publiziert (Rodriguez et al., 2023; Hassine, 2024). Eine genaue Überprüfung der Skalierbarkeit und Performance dieser Ansätze, besonders im industriellen Kontext, steht aber noch aus.

Ein für das Alltagsgeschäft von Entwicklungsteams relevanter Themenbereich ist das Backlog-Management. Anforderungen werden in der agilen Softwareentwicklung oft in priorisierten Listen vorgehalten, häufig in Form von User Stories oder Epics. Diese User Stories müssen geschrieben und angepasst, priorisiert und ggf. geschätzt werden. Außerdem müssen Querverbindungen zu anderen Stories und zu Testfällen erstellt werden (siehe oben). Häufig erledigen Product Owner diese Arbeiten. Das Backlog enthält also sehr viele Informationen, wobei eine Mischung aus natürlicher Sprache (Anforderungen, Akzeptanzkriterien) und strukturierten Daten (z. B. die Querverbindungen) vorliegt. Es existieren erste kommerzielle Ansätze, das Backlog-Management mithilfe von generativer KI zu automatisieren, etwa Zen.AI,¹ der Product Copilot von DevBoost² oder der Copilot4DevOps von Modern Requirements.³ Diese Lösungen stecken allerdings aktuell noch in den Kinderschuhen. In der Forschung wird derzeit an ähnlichen Themen gearbeitet, z. B. an der Schätzung des Aufwands einer User Story mit Machine Learning (Abadeer & Sabetzadeh, 2021) oder an der Verbesserung von User Stories mithilfe von LLMs (Zhang et al., 2024).

Benutzerschnittstellen oder, etwas weiter gefasst, die User Experience (UX) behandeln, wie die Endnutzer das entstehende System vor der Nutzung, während der Nutzung und nach der Nutzung erleben. Dieses Erlebnis beruht auf der Benutzerschnittstelle des Systems, aber auch auf dem Markenbild, den Vorlieben und den Kompetenzen der Nutzer und zahlreichen anderen Elementen (DIN EN ISO 9241-210, 2011). In vielen Fällen sind in der modernen Softwareentwicklung das Erheben von Anforderungen und das Erstellen von Benutzerschnittstellen eng miteinander verzahnt: Bereits früh im Prozess entstehen in Kollaboration mit den Interessenvertretern sowohl Anforderungen als auch Entwürfe der Benutzerschnittstelle, z. B. im Rahmen von Design Thinking (Hehn & Uebernickel, 2018) oder User-centred Design (Preece et al., 2023).

Einen Überblick über den Einsatz von KI im Entwurf von Benutzerschnittstellen geben Stige et al. (2023). Sie differenzieren verschiedene Arten, in denen KI in UX genutzt wird. Ansätze wie Computational Creativity (Feldman, 2017; Mateja & Heinzl, 2021) unterstützen UX-Experten dabei, neue, kreative Ideen und Ansätze zu entwickeln. Andererseits existieren Methoden, um Personas (Beschreibungen der archetypischen Benutzer eines Systems) automatisch generieren zu lassen (Salminen et al., 2019) oder um aus einfachen Skizzen einer Benutzeroberfläche mithilfe von KI komplexe und detaillierte Entwürfe zu generieren (Suleri et al., 2019). Viele Ansätze beschäftigen sich mit der tatsächlichen Generierung von Benutzerschnittstellen. Dabei reichen die Ideen vom Vorschlagen von Entwurfsmustern auf Basis der Anforderungen (Silva-Rodríguez et al., 2020) bis hin zur Optimierung von Layouts (Duan et al., 2020). Interessanterweise haben Stige et al. (2023) keine Ansätze gefunden, die das Design vollständig automatisieren. Außerdem wurden etliche Arbeiten identifiziert, in denen sich menschliche Designer kritisch gegenüber Automatisierung im Design geäußert haben – sei es, weil sie das Gefühl hatten, die Kontrolle zu verlieren (O’Donovan et al., 2015) oder weil die KI das Problem nicht vollständig erfasste (Feldman, 2017). Die Evaluation von Benutzerschnittstellen mithilfe von KI ist ebenfalls möglich (Yang et al., 2020), allerdings zeigt die Evaluation, dass mithilfe der KI manche Aspekte der User Experience (Lernen, Effektivität) nicht verbessert werden können.

Weiterhin gibt es einige Ansätze, um direkt aus Entwürfen für Benutzerschnittstellen Code zu generieren. Dave et al. (2021) vergleichen drei davon, die alle auf Deep Learning basieren. Keiner der vorgestellten Ansätze hat allerdings eine Qualität, die für den produktiven Einsatz notwendig wäre. Es ist erwähnenswert, dass auch ChatGPT seit März 2024 eine ähnliche Funktionalität anbietet, allerdings gibt es aktuell noch keine wissenschaftliche Evaluation dieser Fähigkeit. Ähnliche Möglichkeiten werden derzeit auch in andere kommerzielle Werkzeuge integriert. Das beliebte Tool Figma zum Erstellen von Entwürfen für Benutzerschnittstellen bietet beispielsweise eine entsprechende Erweiterung an, die sich allerdings bei Redaktionsschluss noch im Beta-Test befindet.⁴

Wenn in der Berichterstattung von der Ablösung des Softwareentwicklers die Rede ist, dann beziehen sich die Journalisten normalerweise auf generative KIs, die als sogenannte Coding Assistants in der Softwareprogrammierung Einzug halten. Bei einem Coding Assistant handelt es sich meist um ein Plugin, das direkt in der Entwicklungsumgebung, also dem Programm, in dem Entwickler Quellcode schreiben, KI-Funktionalitäten bereitstellt. Von den Anbietern werden diese auch als „AI Pair Programmer“ beworben,⁵ um die Idee zu vermitteln, dass eine zweite „Person“ jederzeit mit auf den Code schaut und Vorschläge macht.

Im Folgenden beziehen wir uns auf den Marktführer⁶ GitHub Copilot⁵. Die Handhabung der Konkurrenzprodukte wie Tabnine,⁷ Codeium,⁸ qodo,⁹ Amazon Q¹⁰ oder Continue¹¹ ist jedoch sehr ähnlich.

Die Benutzerschnittstelle von Coding Assistants besteht üblicherweise aus zwei Teilen: einer Integration in den Quelltexteditor, mit der ein Entwickler direkt im Quellcode mit dem Coding Assistant interagieren kann, und einem Chatfenster, das in einer Seitenleiste der Entwicklungsumgebung fest angedockt wird.¹²

Das Sprachmodell, mit dem hier kommuniziert wird, wurde durch sogenanntes „Fine-Tuning“ auf Programmierthemen spezialisiert. Des Weiteren steht dem Sprachmodell der vorhandene Projektcode als Kontext zur Verfügung. Codevorschläge durch das Sprachmodell können direkt in das Projekt übernommen und Kommandozeilenbefehle direkt ausgeführt werden.¹³

Die Integration in den Editor bietet weitere KI-basierte Features. Während Code geschrieben wird, generiert das Sprachmodell im Hintergrund Vorschläge, wie die Zeile beendet werden kann und wie die folgenden Zeilen aussehen können. Diese werden als blasser Text direkt im Code eingeblendet und lassen sich mit nur einem Tastendruck übernehmen. Über spezialisierte Menüeinträge ist es möglich, bestimmte Anfragen zu stellen, ohne eine Chatnachricht schreiben zu müssen.¹⁴ So gibt es z. B. Funktionen, um Fehler suchen zu lassen oder Dokumentation zu generieren. Dieselben Funktionen lassen sich, ähnlich wie in Chatprogrammen, auch durch Schrägstrichbefehle wie „/fix“ auslösen.¹⁵

In Abschn. 20.3.1 werden zunächst die Verwendungsmöglichkeiten von Coding Assistants beschrieben. Anschließend wird in Abschn. 20.3.2 deren Einfluss auf die Produktivität von Entwicklern untersucht.

Um sicherzustellen, dass Quellcode keine typischen Programmierfehler oder Schwachstellen enthält, wird er häufig einer statischen oder dynamischen Codeanalyse unterworfen. Bei statischen Verfahren wird der Quellcode direkt auf bestimmte Muster hin untersucht, die auf häufige Programmierfehler oder Sicherheitsschwachstellen hinweisen. Bei der dynamischen Codeanalyse wird der Quellcode zu einem gewissen Grad ausgeführt, um komplexere Fehler, wie z. B. Interaktionen mit anderen Systemteilen, detektieren zu können. Beide Analysearten sind sehr aufwendig und bringen oft eine große Anzahl von Falschmeldungen mit sich, die von Entwicklern dann mit viel Aufwand manuell überprüft werden müssen.

Giray et al. (2023) geben einen Überblick zu KI-Ansätzen, um Fehler in Quellcode zu finden. Die meisten der gefundenen Ansätze verwenden dabei Machine Learning oder Deep Learning. Diesen Methoden ist gemein, dass hochqualitative Datensätze notwendig sind, um gute Ergebnisse zu erzielen. Daran mangelt es in der Praxis jedoch. Die Autoren stellen auch fest, dass es wenig Evidenz dafür gibt, dass die Ansätze in der Praxis eingesetzt werden. Eine genauere Analyse der verwendeten KI-Methoden liefern Sharma et al. (2021). Sie beschreiben auch die Herausforderungen für den Einsatz von Machine Learning für diesen Einsatzzweck. Dabei erwähnen sie, dass die Reproduzierbarkeit der Ergebnisse oft nicht gewährleistet ist, weisen aber auch darauf hin, dass vortrainierte Modelle Probleme mit Datensicherheit und Privatsphäre mit sich bringen können.

Auch LLMs werden für die statische Codeanalyse eingesetzt, wobei hier in den meisten Fällen noch keine Automatisierung stattfindet, sondern Forscher manuell Code in das LLM einspeisen. Dies eignet sich nicht für die praktische Softwareentwicklung: Statische Analysewerkzeuge sind üblicherweise in den kontinuierlichen Integrationsprozess eingewoben, so dass Entwickler vollautomatisch und ohne Benutzung separater Tools Rückmeldung zur Codequalität bekommen. Solche praktischen Ansätze befinden sich gerade noch in der Entstehung.

Ein weiterer Anwendungsfall für LLMs ist die Überprüfung der Ergebnisse von statischen Analysetools. Um Falschmeldungen abzufangen, bevor sie die Entwickler erreichen und von diesen manuell aussortiert werden müssen, verwenden Li et al. (2024) beispielsweise GPT-4 mit spezialisierten Prompting-Techniken, um die Ergebnisse eines statischen Analysetools auszuwerten.

Weitere Ansätze, bei denen LLMs gezielt zur Identifikation von Sicherheitslücken eingesetzt werden, sind in Abschn. 20.6 beschrieben.

Die Generierung von Softwaretests ist schon seit vielen Jahren aufgrund der hohen Komplexität und der Schwierigkeit, alle möglichen Fehlerfälle abzudecken, ein wichtiges Automatisierungsthema (z. B. Anand et al., 2013; Ricca et al., 2021). Dabei spielen auch schon lange bestimmte KI-Techniken eine Rolle, z. B. die Verwendung neuronaler Netze, um das korrekte Verhalten eines Systems vorherzusagen (das sogenannte „Test-Orakel“) (Shahamiri et al., 2011), vereinfachte Verwaltung großer Testsuiten mithilfe von generierten Kontrollflussgraphen (Baral et al., 2021), die Priorisierung von Testfällen in sehr großen Testsuiten (Bertolino et al., 2020) oder die Verarbeitung natürlichsprachiger Testbeschreibungen (Sarmiento et al., 2014).

Gerade Letzteres ist auch das Anwendungsgebiet großer Sprachmodelle, die in den letzten Jahren an Bedeutung bei der Validierung und Verifizierung gewonnen haben. Einen Überblick über aktuelle Entwicklungen geben Wang et al. (2024). Dabei spielt die Generierung von Testfällen eine wichtige Rolle, die unter anderem durch Fine-Tuning der LLMs und durch geschicktes Prompt-Engineering verbessert werden kann. Auch die Generierung von Testorakeln aus natürlichsprachigen Anforderungen und die Generierung von Eingabedaten für die Tests werden diskutiert.

Einen Schritt weiter gehen Jensen et al. (2024): Sie beschreiben die Verwendung von LLMs zur Automatisierung von Code Reviews. Dieser wichtige Schritt in der Überprüfung der Codequalität kann sehr aufwendig sein, bietet aber neben Vorteilen für das Endprodukt auch weiteren Nutzen, z. B. indem erfahrene Entwickler ihr Wissen weitergeben können (Badampudi et al., 2023). Statische Analyseverfahren (s. Abschn. 20.4) stellen eine Möglichkeit dar, zumindest den Teil der Reviews zu automatisieren, der sich mit Fehlern im Code beschäftigt. In der Vergangenheit wurde aber auch Deep Learning verwendet, um aus existierenden Code Reviews und den dazugehörigen Quellcode-Abschnitten direkt zu lernen und das Review für unbekannten Code vorherzusagen (Gupta & Sundaresan, 2018). LLMs haben in solchen Fällen den Vorteil, dass neuer, sinnvoller Text produziert wird, anstatt existierende Bausteine neu zu kombinieren. Während die Ergebnisse von Jensen et al. (2024) für die Bewertung der Funktionalität des Codes vielversprechend sind, ist die tatsächliche Nutzbarkeit des Feedbacks für die Entwickler noch eine offene Frage. Frömmgen et al. (2024) berichten über einen Assistenten, der aus den Kommentaren der Reviewer Codevorschläge generiert. Diese Vorschläge werden aktuell in 7,5 % der Fälle von den Entwicklern akzeptiert. Dies ist ein erster Schritt hin zu (teil-)automatisierten Reviews.

Sicherheitsfragen spielen während des gesamten Softwareentwicklungsprozesses eine Rolle. Nina et al. (2021) untersuchten 586 Publikationen, die sich mit sicherer Softwareentwicklung beschäftigten, und fanden, dass sich 20 % davon mit Anforderungen, 24 % mit dem Design, 42 % mit der Konstruktion und 14 % mit dem Testing auseinandersetzten. KI-Methoden werden dabei ebenso in allen Phasen eingesetzt. Im Folgenden diskutieren wir kurz die verschiedenen Phasen an, die wir auch bereits in vorhergehenden Kapiteln behandelt haben, dort aber nicht aus Sicherheitsperspektiven. Im Allgemeinen wird für sicherheitskritische Systeme zunächst eine sogenannte TARA (Threat Analysis and Risk Assessment) durchgeführt. Dabei werden potenzielle Bedrohungen und die damit verbundenen Risiken systematisch gesichtet. Dann werden für die wichtigsten Bedrohungen entsprechende Gegenmaßnahmen definiert, die wiederum in Sicherheitsanforderungen münden.

Im Kontrast zur Entwicklung sicherer Software steht Cybersicherheit im Allgemeinen, also z. B. bei der Absicherung von Computernetzwerken. Auch dort werden vermehrt KI-Techniken eingesetzt. Einen guten Überblick zu diesen Themen bieten Sarker et al. (2021).