5. Evaluation der Ergebnisse

In diesem Fachbeitrag wird eine umfassende deskriptive Analyse von Nutzerkommentaren zu zwei großen Telekommunikationsunternehmen, der Deutschen Telekom AG und Vodafone Deutschland, durchgeführt. Die Analyse umfasst die Häufigkeit der Nutzerkommentare je Erfahrungsdatum, die Häufigkeit der Nutzerkommentare pro Sternbewertung sowie die Satzlängen der Nutzerkommentare. Die Ergebnisse zeigen, dass die meisten Kommentare eine Bewertung von einem Stern haben, was auf eine überwiegend negative Kundensicht hinweist. Die Sentiment-Klassifikation der beiden Unternehmen wird überprüft und verglichen, wobei die Interpretation und der Vergleich der Kundenzufriedenheit sowie Kundenwahrnehmung im Vordergrund stehen. Mithilfe von XAI werden pro Sentiment relevante Faktoren genauer gesagt Themengebiete zu deren Vorhersage ermittelt. Die Analyse zeigt, dass die meisten unzufriedenen Kunden bei der Telekom mit 860 Beiträgen eine unzureichende Erfahrung im Monat August gemacht haben und bei der Vodafone im Juli mit 1.888 Kommentaren. Die Verteilung der Nutzerkommentare pro Sentiment zeigt insgesamt, dass vermehrt mehr negative Kundenperspektiven durch GermanSentiment erfasst werden. Die Konfusionsmatrix zur finalen SA für beide Unternehmen zeigt, dass die meisten Beiträge richtig für das negative Sentiment klassifiziert wurden. Die Evaluierungsmetriken der SA sowie die Baseline Accuracy für die zwei Unternehmen werden begutachtet, wobei die Accuracy von 94 % für die Telekom und 96 % für Vodafone eine gute Modellgüte repräsentiert. Die Kundenzufriedenheit sowie der NBR oder NSS wird ermittelt, wobei die Ergebnisse zeigen, dass die Erfahrungen der Kunden oder auch die Wahrnehmung der Unternehmen stark abwertend sind. Die Erklärbarkeit der SA und der Kundenzufriedenheit wird mithilfe des SHAP-Algorithmus analysiert, wobei die Feature-Relevanz anhand der SHAP-Werte auf ein Beeswarm-Plot präsentiert wird. Die Evaluierungsmetriken zu SHAP-Ergebnissen beider Unternehmen zeigen, dass die SHAP-Ergebnisse robust und verlässlich sind, wobei die Komplexität und die Stabilität der Modelle unterschiedlich ausfallen. Die aufgebaute Methode kann für weitere Unternehmen in der Telekommunikationsbranche auch angewendet werden, allerdings sollten Verbesserungen im Hinblick der Komplexität und Vollständigkeit der Erklärbarkeit überdacht werden.