Open-Source-KI datenschutzkonform gestalten

Sprachmodelle verbreiten sich in Unternehmen, aber häufig ungesteuert als Schatten-KI. Eine gute Alternative bietet die Open-Source-Szene.

Viele deutsche Unternehmen interessieren sich für den Einsatz von Sprachmodellen und arbeiten an einer firmeninternen Version. Hier sind große und umsatzstarke Unternehmen wie Bosch, Allianz oder Merck Vorreiter. Denn die Entwicklung von Künstlicher Intelligenz (KI) erfordert viel Geld und viele IT-Ressourcen. Zwar ist es möglich, über eine kostengünstige Programmierschnittstelle auch Modelle von Branchengrößen wie OpenAI zu nutzen, doch hier gibt es ein paar Probleme.

Vorteile von generativer KI

Lösungen für generative KI von US-Unternehmen berücksichtigen europäische Datenschutzrichtlinien nur unzureichend. Sie speichern die von Nutzern eingegebenen Informationen und verwenden sie für das Training oder die Feinabstimmung der Algorithmen. Das erhöht das Risiko, dass sensible Unternehmensdaten oder persönliche Informationen in die Sprachmodelle einfließen. Zudem geben Sprachmodelle teilweise unzutreffende Auskünfte, ein Risiko für Entscheidungen auf Basis ihrer Ergebnisse.

Dennoch haben Mistral, Openchat oder andere in PlusKI von Plusserver verfügbare Sprachmodelle erhebliche Vorteile und entlasten das Personal von Unternehmen. Sie übernehmen langwierige und arbeitsintensive Aufgaben wie das Verfassen von Berichten, Protokollen oder E-Mails. Die Technologie beschleunigt viele Abläufe, analysiert E-Mails und Dokumente und kann etwa Kundenabsichten frühzeitig erkennen. Das macht sie zunehmend beliebter: Laut Daten von Statista Research nutzten Mitte 2023 knapp 64 Prozent der deutschen Berufstätigen ChatGPT für die Arbeit. Oft läuft das aber am Management vorbei – als sogenannte Schatten-KI. Eine rechtlich unbedenkliche Alternative ist der Einsatz einer firmeninternen Künstlichen Intelligenz, die mit eigenen Daten trainiert wird. Open-Source-Software (OSS) macht dies möglich.

KI aus Open-Source-Bibliotheken

Die Entwicklung eines Sprachmodells setzt starke Hardware voraus – auch bei Open-Source-Software-Projekten (OSS). Somit ist die Leistungsfähigkeit jedes Modells sehr stark von den verfügbaren Mitteln abhängig. Je nach Bedarf können sie viele Unternehmensaufgaben bewältigen, insbesondere wenn sie mit spezifischen Daten weitertrainiert werden. Dazu zählen firmeninterne Texte, E-Mails, Customer-Relationship-Management-Inhalte (CRM) oder Informationen aus Wissensdatenbanken.

Dieses zusätzliche Training mit firmeneigenen Daten ist gerade für den Einsatz von OSS-KI essenziell und muss in der Planung zur Implementierung einer eigenen KI-Lösung berücksichtigt werden. Nach dem gut aufgesetzten Anreichern sollte das Modell genügend Wissen haben, um beispielsweise Kundenanfragen zu beantworten oder beim Schreiben von Berichten zu helfen. Das bringt zusätzlichen Nutzen: Die Anwendung der Sprachmodelle wird einfacher.

Da vollständig externe Modelle keine Kenntnis von firmeninternen Informationen haben, erfordert hier jede Aufgabe ein aufwendiges Prompt Engineering, um die gewünschten Ergebnisse zu erzielen. Das angepasste OSS-Modell lässt sich dagegen direkt abfragen. Eine wenig aufwendige Alternative ist die Nutzung von "AI as a Service". Dabei kümmert sich der Anbieter um den Betrieb des Modells sowie um dessen Zuverlässigkeit und Sicherheit. Unternehmen sollten dafür Dienstanbieter nutzen, die den EU-Datenschutzstandards entsprechen. So lässt sich KI sicher und ohne Bedenken in Bezug auf Datenschutz und Datensicherheit einsetzen.