Skip to main content

2020 | OriginalPaper | Buchkapitel

12. Innovative Forschungsmethoden in der Evaluation – Text Mining und Data Analytics zur Erfolgsmessung und Wirksamkeitsanalyse

verfasst von : Cathleen M. Stützer

Erschienen in: Marktforschung für die Smart Data World

Verlag: Springer Fachmedien Wiesbaden

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Dieser Beitrag befasst sich mit der Bedeutung von (innovativen) digital-gestützten Erhebungs- und Auswertungsverfahren in der Evaluation. Am Beispiel von Text Mining und Data Analytics werden Potenziale und Herausforderungen zur automatisierten Leistungsbewertung, Qualitätsanalyse und Wirksamkeitsmessung im Kontext der Evaluationsforschung näher beleuchtet. Es werden Analogien zur Marktforschung aufgezeigt, Einblicke in den aktuellen Status quo gegeben sowie Möglichkeiten einer (übergreifenden) Implementierung bzw. einer Übertragbarkeit auf die Marktforschung am Fallbeispiel diskutiert.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Evaluation und Evaluationsforschung werden im Folgenden synonym verwendet.
 
2
Dies gilt sowohl für interne (In-House) wie auch externe Evaluationen (z. B. durch externe Agenturen, Institutionen etc.).
 
3
Vgl. Arbeitskreis „Forschungsmethoden in der Evaluation“ der Deutschen Gesellschaft für Evaluation (DeGEval) via https://​www.​degeval.​org/​degeval-standards/​standards-fuer-evaluation/​ (Stand: 20.04.2019) in Anlehnung an „Joint Committee on Standards for Educational Evaluation“ (JCSEE).
 
4
Analog zum ICC/ESOMAR-Kodex aus der Marktforschung.
 
6
Learning Analytics beziehen sich auf die Erhebung und Auswertung lehr- und lernbezogener Daten innerhalb von digitalen Lehr- und Lernräumen und zielen auf eine datenzentrierte Lernerfolgsmessung auf Indiviudalebene (vgl. Gaaw und Stützer 2017).
 
7
Zu den sich daraus resultierenden Rechtsunsicherheiten befinden sich die beteiligten Akteure (Hochschulleitungen, Administratoren, Datenschutzbeauftragte, Evaluatoren etc.) im Austausch.
 
8
Die Automatisierung dessen befindet sich aktuell noch in der Umsetzung.
 
9
Aktuell ist dieser Prozess technisch noch nicht realisiert. Zukünftig sollen die zusammengeführten Bewertungen des Inhalts in einem Dashboard grafisch dargestellt werden, um ohne Programmierkenntnisse nach speziellen Informationen (Verteilung und Art der Bewertung – positiv, neutral, negativ –, Hot Topics, GoI vs.GoR etc.) filtern zu können.
 
10
Code Snippets sind hier als einzelne Code-Bausteine zu verstehen, die sich je nach Verwendung in den einzelnen Ebenen während der Bearbeitung hinzufügen/löschen lassen.
 
11
Eine Workbench ist eine einheitliche Arbeitsumgebung und dabei visuelles Werkzeug für Entwickler und Anwender zugleich.
 
Literatur
Zurück zum Zitat Bortz J, Döring N (2005) Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Springer, Berlin Bortz J, Döring N (2005) Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Springer, Berlin
Zurück zum Zitat Diesner J, Carley KM (2010) Extraktion relationaler Daten aus Texten Handbuch Netzwerkforschung. VS Verlag, Wiesbaden, S 507–521CrossRef Diesner J, Carley KM (2010) Extraktion relationaler Daten aus Texten Handbuch Netzwerkforschung. VS Verlag, Wiesbaden, S 507–521CrossRef
Zurück zum Zitat Diesner J, Carley KM (2011) Semantic networks. In: Barnett G (Hrsg) Encyclopedia of social networking. Sage Publications, London, S 767–769 Diesner J, Carley KM (2011) Semantic networks. In: Barnett G (Hrsg) Encyclopedia of social networking. Sage Publications, London, S 767–769
Zurück zum Zitat Döring N, Bortz J (2016) Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer, BerlinCrossRef Döring N, Bortz J (2016) Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer, BerlinCrossRef
Zurück zum Zitat Gaaw S, Stützer CM (2017) Learning und Academic Analytics in Lernmanagementsystemen (LMS). Herausforderungen und Handlungsfelder im nationalen Hochschulkontext. In: Köhler T, Schoop E, Kahnwald N (Hrsg) Wissensgemeinschaften in Wirtschaft, Wissenschaft und öffentlicher Verwaltung. TUDpress, Dresden, S 145–161. http://nbn-resolving.de/urn:nbn:de:bsz:14-qucosa-234425. Zugegriffen: 17. Dez 2018 Gaaw S, Stützer CM (2017) Learning und Academic Analytics in Lernmanagementsystemen (LMS). Herausforderungen und Handlungsfelder im nationalen Hochschulkontext. In: Köhler T, Schoop E, Kahnwald N (Hrsg) Wissensgemeinschaften in Wirtschaft, Wissenschaft und öffentlicher Verwaltung. TUDpress, Dresden, S 145–161. http://​nbn-resolving.​de/​urn:​nbn:​de:​bsz:​14-qucosa-234425. Zugegriffen: 17. Dez 2018
Zurück zum Zitat Hochschulforum Digitalisierung (2015) Diskussionspapier – 20 Thesen zur Digitalisierung der Hochschulbildung. Zur Halbzeitkonferenz des Hochschulforums Digitalisierung. Arbeitspapier Nr. 14., Hochschulforum Digitalisierung, Berlin Hochschulforum Digitalisierung (2015) Diskussionspapier – 20 Thesen zur Digitalisierung der Hochschulbildung. Zur Halbzeitkonferenz des Hochschulforums Digitalisierung. Arbeitspapier Nr. 14., Hochschulforum Digitalisierung, Berlin
Zurück zum Zitat Kelle U (2018) “Mixed Methods” in der Evaluationsforschung – mit den Möglichkeiten und Beschränkungen quantitativer und qualitativer Methoden arbeiten. Zeitschrift für Evaluation, 17. Jahrgang 1(2018):25–52 Kelle U (2018) “Mixed Methods” in der Evaluationsforschung – mit den Möglichkeiten und Beschränkungen quantitativer und qualitativer Methoden arbeiten. Zeitschrift für Evaluation, 17. Jahrgang 1(2018):25–52
Zurück zum Zitat Kerres M (2003) Wirkungen und Wirksamkeit neuer Medien in der Bildung. In: Keil-Slawik R, Kerres M (Hrsg) Education Quality Forum 2002. Wirkungen und Wirksamkeit neuer Medien. Waxmann, Münster Kerres M (2003) Wirkungen und Wirksamkeit neuer Medien in der Bildung. In: Keil-Slawik R, Kerres M (Hrsg) Education Quality Forum 2002. Wirkungen und Wirksamkeit neuer Medien. Waxmann, Münster
Zurück zum Zitat Manning C, Schütze H (1999) Foundations of statistical natural language processing. MIT Press, Cambridge Manning C, Schütze H (1999) Foundations of statistical natural language processing. MIT Press, Cambridge
Zurück zum Zitat Mayring P (2010) Qualitative Inhaltsanalyse: Grundlagen und Techniken. Beltz Verlag, Weinheim Mayring P (2010) Qualitative Inhaltsanalyse: Grundlagen und Techniken. Beltz Verlag, Weinheim
Zurück zum Zitat Stockmann, R. (2000). Evaluation in Deutschland. In: Stockmann R (Hrsg) Evaluationsforschung Sozialwissenschaftliche Evaluationsforschung, Bd. 1. VS Verlag, Wiesbaden, S 11–40 Stockmann, R. (2000). Evaluation in Deutschland. In: Stockmann R (Hrsg) Evaluationsforschung Sozialwissenschaftliche Evaluationsforschung, Bd. 1. VS Verlag, Wiesbaden, S 11–40
Zurück zum Zitat Stockmann R, Meyer W (2014) Evaluation: Eine Einführung. UTB GmbH, Stuttgart Stockmann R, Meyer W (2014) Evaluation: Eine Einführung. UTB GmbH, Stuttgart
Zurück zum Zitat Stuetzer CM, Welker M, Egger M (2018) Computational social science in the age of big data, Bd 15. Halem, Köln Stuetzer CM, Welker M, Egger M (2018) Computational social science in the age of big data, Bd 15. Halem, Köln
Zurück zum Zitat Thielsch M, Weltzin S (2012) Online-Umfragen und Online-Mitarbeiterbefragungen. In: Thielsch MT, Brandenburger T (Hrsg) Praxis der Wirtschaftspsychologie II. MV-Wissenschaft, Münster, S 109–127 Thielsch M, Weltzin S (2012) Online-Umfragen und Online-Mitarbeiterbefragungen. In: Thielsch MT, Brandenburger T (Hrsg) Praxis der Wirtschaftspsychologie II. MV-Wissenschaft, Münster, S 109–127
Metadaten
Titel
Innovative Forschungsmethoden in der Evaluation – Text Mining und Data Analytics zur Erfolgsmessung und Wirksamkeitsanalyse
verfasst von
Cathleen M. Stützer
Copyright-Jahr
2020
DOI
https://doi.org/10.1007/978-3-658-28664-4_12