Big Data bezeichnet derartig zahlreiche Record Collections, dass traditionelle Datenbanksysteme oder ähnliche Tools es schwer haben, diese in vertretbarer Zeit zu verarbeiten. Die Herausforderungen hierbei umfassen Import, Aufbewahrung, Speicherung, Suche, Publikation, Transfer, Analyse und Visualisierung von Records. Statt der herkömmlichen Verarbeitungssysteme wird bei Big Data eine hohe Parallelisierung von Rechnerverbunden – von Dutzenden zu Tausenden Rechnern – gebraucht und entsprechende Tools zum Performance-Ausgleich.
Die Grösse und Bezeichnung von Big Data variiert jährlich. 2012 spricht man über einen Bereich startend von wenigen Terabytes bis einigen Dutzend Petabytes. Ziel und Herausforderung von Big Data sind die konstante Verbesserung herkömmlicher Datenbanksysteme wie auch die Schaffung neuer Technologien, wie z.B. /bigdata-db/, /bigdata-hd/ oder NoSQL /nosql/.
Beispielanwendungen
Erwähnenswert sind Big Science /bigs1/, /bigs2/, RFID /rfid/, Sensorennetzwerke, soziale Netzwerke, „Big social data analysis“ /bsda/, Internet-Dokumente, Indexierung von Internet-Inhalten zum Zwecke der Suche in der Astronomie, Metereologie, Genomik, Biogeochemie, Biologie und weitere stark multidisziplinäre, wissenschaftliche Recherchen wie Military Intelligence, Medical Records und andere Disziplinen.
Big Data und Semantic Web
Big Data Technologien erlauben eine höhere Performanz bei der Abwicklung gewöhnlicher Datenoperationen – sie eignen sich besonders als Substrat zur Ausführung von Semantic Web Operationen (LODfizierung, logisches Verknüpfen, Exportieren, Importieren, Abgleichen). Die Auswahl des geeigneten Big Data Technologiesubstrats kann den Erfolg für die kommenden 5 bis 10 Jahre sichern. Eine grössere Anzahl von Daten (Giga-/Terabyte Bereich) garantieren i.d.R. eine breitere Basis für Algorithmen und Heuristiken; unter Verwendung eines schlanken skalierbaren Substrats steigt dann deren Präzision und Aussagekraft gegenüber konventionellen Lösungen /bdsw/.
Big Data und Legacy Systeme
Legacy Systeme – auch “Altsysteme” genannt – stehen in der Informatik für etablierte, historisch gewachsene Unternehmensanwendungen, die zum Teil grossrechnergestützt sind oder auf etwas älteren Betriebssystemen laufen können. Oft ist ein Legacy-System das operative Herz eines Unternehmens, das erst nach sorgfältigen Abwägungen – oder nach Einstellung des Supports seitens eines Anbieters gezwungenermassen – ersetzt werden kann oder muss.
Mit der Bereitstellung und Freigabe immer grösserer Datenmengen kann ein Legacy-System an seine Komplexitätsgrenzen stossen, für die Verarbeitung inadäquat sein und für das Unternehmen schliesslich ein Flaschenhals werden. Durch die sorgfältige Evaluation des ablösenden Systems und die Planung der Datenmigration und Systemablösung wird die Stabilität der Unternehmensdatenverarbeitung wiederhergestellt.