Dr. Thomas Keil
30. Oktober 2014 0
Digitalisierung

Big Data, Analytics & Hadoop: Vom Fischen in Datenseen

Hadoop und Big Data werden häufig synonym oder zumindest im gleichen Atemzug genannt. Da erinnere ich mich beispielsweise an eine Diskussion im Arbeitskreis Big Data des BITKOM. Ein Wortbeitrag forderte geradezu zwingend ein, sich nahezu ausschließlich um Hadoop zu kümmern, denn diese Technologie und sonst nichts anderes begründe die ganze Diskussion. Natürlich erntete der Kollege heftigen Widerspruch von den Vertretern analytischer Datenbanken, ausgefeilter Storagesysteme, In-Memory-Technologien etc. Das war vor etwa zwei Jahren.

Mittlerweile sieht die Situation anders aus. Auch die Vertreter spaltenorientierter Datenbanken und In-Memory-Systemen haben mittlerweile Hadoop in ihre Technologieplattformen integriert. Und die Storage-Vertreter sind nicht mehr so oft Gast im Arbeitskreis.

Als Disclaimer sei bemerkt, dass die Big Data-Diskussion selbstverständlich keine rein technologische ist und sein kann. Digitale Transformation, Überwachungsszenarien, gesellschaftliche Einflüsse, Internet der Dinge, Industrie 4.0 – und so weiter: Die Palette an Themen ist nahezu unerschöpflich. Wenn wir aber bei Technologie bleiben, müssen auch Skeptiker eingestehen: Es geht immer auch um Hadoop.

Die Welt rund um Hadoop

Nun ist es aber gleichzeitig auch so, dass Hadoop ein Universum für sich ist. Es ist schwierig für einen Nicht-Spezialisten die zahlreichen Hadoop-Projekte zu benennen und einzuordnen: Flume, Hue, Kerberos, HDFS, Hive, Pig und so weiter. Einigermaßen selbstironisch wurde daher auch ein „ZooKeeper“ entwickelt, also ein Tool zur Verfügung das all diese seltsamen Tiere bändigen soll.

Der einfachste Grund für die Popularität von Hadoop sind selbstverständlich die dramatisch gesenkten Kosten für Datenhaltung auch großer Datenmengen. Wenn sich das in der Praxis bewährt- was viele Unternehmen heute unter dem Stichwort „Datawarehouse Offload“ oder „DWH Right Sizing“ testen – führt daran kein Weg vorbei.

Was aber sollen die Unternehmen dann mit den Datenseen anfangen, die sie in Hadoop nun günstig aufstauen können? Sie sollten darin mit fortgeschrittenen Methoden fischen gehen. Das können einzelne Angler sein, die mit großem Expertenwissen die dicksten Fische rausholen. Das können aber auch größere Netze sein, die von vielen Fischern gehalten und gemeinsam geborgen werden. Kurz: Es kommt jetzt darauf an, die richtigen Instrumente zu bauen, deren Gebrauch zu üben und in See zu stechen.

Wenn ich nun überlege, was das Neue an Big Data ist, dann ist es genau das: Es ist vorher nicht ganz klar, was in den Daten drinsteckt. Mit Neugier, Kreativität und einer Experimentierkultur lässt sich auf Entdeckungstour oder um im Bild zu bleiben „auf große Fahrt“ gehen. Das ist etwas, was nicht in der DNA traditioneller deutscher Unternehmen verankert ist. Und deshalb ist Hadoop der Enabler für Big Data: das Risiko, hier große Investitionen mit vagem Ausgang zu tätigen, wäre sonst zu groß.

Wer aber anfängt an kleinen, überschaubaren Anwendungsszenarien sich die Technologie und deren Gebrauch anzueignen, der hat viele Möglichkeiten der weiteren Nutzung: zum Beispiel das exploratives Erforschen der Daten. Hier liefert beispielsweise SAS Visual Analytics genau die Kombination aus Advanced Analytics und ansprechender Visualisierung, die es vielen Business Experts überhaupt erst ermöglicht, aus den Millionen Datenpunkten das herauszufiltern, was benötigt wird. Dazu werden die Analyse-Daten im SAS LASR Analytics Server aufbereitet, der die Hadoop Daten direkt aus der T-Systems Hadoop as a Service Plattform einliest, die bereits seit May 2014 verfügbar ist.

Den einzelnen Hochleistungs-„Angler“ (vulgo: Data Scientist) braucht es natürlich auch. Aber im heutigen Wettbewerb müssen Organisationen mehr leisten und möglichst vielen ihrer Mitarbeiter das Fischen im Datensee ermöglichen.

Dr. Thomas Keil

Big Data Analytics Forum, 4.11.2014, Frankfurt/M.
Der Innovationstreff für alle Fachentscheider und Strategen: www.sas.de/bda-forum2014.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Mit dem Absenden des Kommentars akzeptieren Sie unsere Kommentar-Policy.

a) Leser sind herzlich zum Kommentieren eingeladen.

b) Kommentare sollten den Wert des Weblogs erhöhen.

c) Bitte haben Sie Verständnis dafür, dass wir Kommentare erst nach Prüfung frei schalten.

d) Kommentare, die nichts mit dem Thema des Beitrags zu tun haben, offensichtlich Urheberrechte verletzen, beleidigenden Inhalt oder persönliche Angriffe enthalten, werden gelöscht.

e) Links können gerne eingebunden werden, sollten aber zum Thema des jeweiligen Blog-Postings gehören. Links zu anderen Webseiten oder Blogs, die nichts mit dem jeweiligen Blog-Posting zu tun haben, werden als Spam angesehen und gelöscht.

 
 

Twitter

tsystemsde @tsystemsde
T-Systems DE  @tsystemsde
Start der #HM17 in Hannover: Die @deutschetelekom und #TSystems freuen sich auf Ihren Besuch in Halle 7! https://t.co/hwTpLIMxRJ 
T-Systems DE  @tsystemsde
Die letzten Vorbereitung für den morgigen Start der @hannover_messe laufen - wir freuen uns auf alle Besucher #HM17 https://t.co/AWsrq2wsbm 
T-Systems DE  @tsystemsde
Alle Kollegen/innen des Innovation Centers sind mit ihrem Equipment in Hannover angekommen und freuen sich auf inte… https://t.co/ehaSDWI8js 
T-Systems DE  @tsystemsde
Wir begrüßen SALT auf unserem Stand der @hannover_messe - er wird uns bei den Präsentationen kommende Woche unterst… https://t.co/trsHderyYO 
T-Systems DE  @tsystemsde
Die „Biene“ @roam_bee hat geliefert - der Aufbau des #TSystems Innovation Center auf der @hannover_messe ist fast f… https://t.co/oEehmjPRx8 
T-Systems DE  @tsystemsde
So sieht die fleißige "Biene" @roam_be im Einsatz aus - Transport des eBikes nach Hannover #HM17 https://t.co/yq1BS5wvT4 
T-Systems DE  @tsystemsde
Wieder unterwegs - die Transportüberwachungslösung @roam_be begleitet zwei #TSystems Kollegen, die ein eBike nach H… https://t.co/kVAHCzIYXs