Der Datenanalyse—Prozess

Der Fokus dieses Buches ist die Analyse großer Datenmengen. Typische Beispiele für Quellen solcher Datenmengen sind industrielle Prozessdaten: Zur Analyse der Altpapieraufbereitung in der Papierfabrik Kühler und Niethammer in Kriebstein stehen an jeder der 8 Deinkingzellen jeweils 54 Sensoren zur Verfügung, die pro Tag 9000 Messwerte liefern. Das sind insgesamt 3888000 Messwerte pro Tag.Umsatzdatenbanken: Das amerikanische Handelsunternehmen WalMart führt eine Scannerkassen—Warenkorbanalyse durch, bei der etwa 20 Millionen Transaktionen pro Tag ausgewertet werden. Für die Analyse wurde eine Datenbank in der Größe von 24 TBytes erstellt.Molekularbiologie: Im Human Genome Database Project wird versucht, den genetischen Code des Menschen zu entschlüsseln. Das menschliche Genom enthält etwa 60000–80000 Gene, das sind insgesamt etwa 3 Milliarden DNA—Basen.Bilder: Das Earth Observing System der NASA nimmt mit tieffliegenden Satelliten Oberflächenbilder der Erde auf. Die aufgenommene Datenrate beträgt 50 GBytes pro Stunde.Textinformationen: Das Internet ermöglicht die Verbreitung von Nachrichten und Mitteilungen in nie gekannter Menge und Geschwindigkeit. Die Flut an Informationen ist inzwischen kaum mehr vom Benutzer zu verarbeiten, so dass zahlreiche Index- und Suchmaschinen sowie Filterprogramme für die elektronische Post eingesetzt werden.