Knowledge-Driven Multilingual Text Analysis and Transparent Information Retrieval

Dieses Buch stellt alle Komponenten und Wissensquellen vor, die für Transparent Information Retrieval erforderlich sind. Je nach Thema und unter Berücksichtigung ihrer Interoperabilität werden sowohl Tief- als auch Flachtechnologie eingesetzt. Die Verarbeitung beginnt mit der Analyse der Textdaten und sammelt ihre Ergebnisse in einem mehrsprachigen konzeptionellen Netzwerk, wodurch eine transparente Informationsgewinnung ermöglicht wird, bei der die Benutzer mit dem System in ihrer Muttersprache kommunizieren, während die Dokumente in einer anderen Sprache und für die Benutzer transparent sein könnten. Dazu untersucht der Autor alle Textanalysekomponenten, die für die mehrsprachige Indexierung erforderlich sind, beginnend mit vorbereitenden Arbeiten wie Sprach- und Themenidentifikation, über Satzaufteilung und Tokenisierung (einschließlich Chinesisch) bis hin zur Beschreibung lexikalischer Analysen, auch für Mehrworteinträge und Named Entities. Die Einträge werden dann sowohl auf syntaktischer (durch einen Tagger) als auch auf semantischer Ebene (durch mehrsprachige Wortsinn-Disambiguierung) eindeutig definiert. Die Analyseergebnisse werden in einem dynamischen multilingualen ConceptNet gesammelt, das eine Indexstruktur ist, die um monolinguale Beziehungen (wie Synonyme oder Head-Modifier-Links) sowie multilinguale Beziehungen (Übersetzungen) erweitert wird. Neben vielen europäischen Sprachen werden auch Türkisch, Arabisch, Persisch und Chinesisch behandelt. Das Buch schließt mit einer Beschreibung der Komponenten, die für den Aufbau der benötigten Ressourcen erforderlich sind, wie Kriechmaschinen, zweisprachige Termextraktion und Werkzeuge für standardmäßige sprachliche Anmerkungen. Für jede Komponente finden die Leser eine Technologieübersicht, eine Diskussion ihrer wichtigsten Herausforderungen bei der Berechnung, eine Beschreibung der ausgewählten technischen Lösung und Bewertungsinformationen.