Dr. Thomas Keil
30. Oktober 2014 0
Digitalisierung

Big Data, Analytics & Hadoop: Vom Fischen in Datenseen

Hadoop und Big Data werden häufig synonym oder zumindest im gleichen Atemzug genannt. Da erinnere ich mich beispielsweise an eine Diskussion im Arbeitskreis Big Data des BITKOM. Ein Wortbeitrag forderte geradezu zwingend ein, sich nahezu ausschließlich um Hadoop zu kümmern, denn diese Technologie und sonst nichts anderes begründe die ganze Diskussion. Natürlich erntete der Kollege heftigen Widerspruch von den Vertretern analytischer Datenbanken, ausgefeilter Storagesysteme, In-Memory-Technologien etc. Das war vor etwa zwei Jahren.

Mittlerweile sieht die Situation anders aus. Auch die Vertreter spaltenorientierter Datenbanken und In-Memory-Systemen haben mittlerweile Hadoop in ihre Technologieplattformen integriert. Und die Storage-Vertreter sind nicht mehr so oft Gast im Arbeitskreis.

Als Disclaimer sei bemerkt, dass die Big Data-Diskussion selbstverständlich keine rein technologische ist und sein kann. Digitale Transformation, Überwachungsszenarien, gesellschaftliche Einflüsse, Internet der Dinge, Industrie 4.0 – und so weiter: Die Palette an Themen ist nahezu unerschöpflich. Wenn wir aber bei Technologie bleiben, müssen auch Skeptiker eingestehen: Es geht immer auch um Hadoop.

Die Welt rund um Hadoop

Nun ist es aber gleichzeitig auch so, dass Hadoop ein Universum für sich ist. Es ist schwierig für einen Nicht-Spezialisten die zahlreichen Hadoop-Projekte zu benennen und einzuordnen: Flume, Hue, Kerberos, HDFS, Hive, Pig und so weiter. Einigermaßen selbstironisch wurde daher auch ein „ZooKeeper“ entwickelt, also ein Tool zur Verfügung das all diese seltsamen Tiere bändigen soll.

Der einfachste Grund für die Popularität von Hadoop sind selbstverständlich die dramatisch gesenkten Kosten für Datenhaltung auch großer Datenmengen. Wenn sich das in der Praxis bewährt- was viele Unternehmen heute unter dem Stichwort „Datawarehouse Offload“ oder „DWH Right Sizing“ testen – führt daran kein Weg vorbei.

Was aber sollen die Unternehmen dann mit den Datenseen anfangen, die sie in Hadoop nun günstig aufstauen können? Sie sollten darin mit fortgeschrittenen Methoden fischen gehen. Das können einzelne Angler sein, die mit großem Expertenwissen die dicksten Fische rausholen. Das können aber auch größere Netze sein, die von vielen Fischern gehalten und gemeinsam geborgen werden. Kurz: Es kommt jetzt darauf an, die richtigen Instrumente zu bauen, deren Gebrauch zu üben und in See zu stechen.

Wenn ich nun überlege, was das Neue an Big Data ist, dann ist es genau das: Es ist vorher nicht ganz klar, was in den Daten drinsteckt. Mit Neugier, Kreativität und einer Experimentierkultur lässt sich auf Entdeckungstour oder um im Bild zu bleiben „auf große Fahrt“ gehen. Das ist etwas, was nicht in der DNA traditioneller deutscher Unternehmen verankert ist. Und deshalb ist Hadoop der Enabler für Big Data: das Risiko, hier große Investitionen mit vagem Ausgang zu tätigen, wäre sonst zu groß.

Wer aber anfängt an kleinen, überschaubaren Anwendungsszenarien sich die Technologie und deren Gebrauch anzueignen, der hat viele Möglichkeiten der weiteren Nutzung: zum Beispiel das exploratives Erforschen der Daten. Hier liefert beispielsweise SAS Visual Analytics genau die Kombination aus Advanced Analytics und ansprechender Visualisierung, die es vielen Business Experts überhaupt erst ermöglicht, aus den Millionen Datenpunkten das herauszufiltern, was benötigt wird. Dazu werden die Analyse-Daten im SAS LASR Analytics Server aufbereitet, der die Hadoop Daten direkt aus der T-Systems Hadoop as a Service Plattform einliest, die bereits seit May 2014 verfügbar ist.

Den einzelnen Hochleistungs-„Angler“ (vulgo: Data Scientist) braucht es natürlich auch. Aber im heutigen Wettbewerb müssen Organisationen mehr leisten und möglichst vielen ihrer Mitarbeiter das Fischen im Datensee ermöglichen.

Dr. Thomas Keil

Big Data Analytics Forum, 4.11.2014, Frankfurt/M.
Der Innovationstreff für alle Fachentscheider und Strategen: www.sas.de/bda-forum2014.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Mit dem Absenden des Kommentars akzeptieren Sie unsere Kommentar-Policy.

a) Leser sind herzlich zum Kommentieren eingeladen.

b) Kommentare sollten den Wert des Weblogs erhöhen.

c) Bitte haben Sie Verständnis dafür, dass wir Kommentare erst nach Prüfung frei schalten.

d) Kommentare, die nichts mit dem Thema des Beitrags zu tun haben, offensichtlich Urheberrechte verletzen, beleidigenden Inhalt oder persönliche Angriffe enthalten, werden gelöscht.

e) Links können gerne eingebunden werden, sollten aber zum Thema des jeweiligen Blog-Postings gehören. Links zu anderen Webseiten oder Blogs, die nichts mit dem jeweiligen Blog-Posting zu tun haben, werden als Spam angesehen und gelöscht.

 
 

Twitter

tsystemsde @tsystemsde
T-Systems DE  @tsystemsde
Wenn Digitalisierung Ihr Antrieb ist, dann kommen Sie zur Digital Division von #TSystems. #ITJobs unter… https://t.co/xXz4vVXXQP 
T-Systems DE  @tsystemsde
"Heimat. Zukunft. Stadt" lautet das Motto vom Deutschen @staedtetag. Live vor Ort die @deutschetelekom https://t.co/1tAUTSnmD5 
T-Systems DE  @tsystemsde
Wie funktioniert plattformunabhängiges #Application #Deployment? Live-Demo mit Heiko Reinhardt #TSystems am 31.5.: https://t.co/z6Rq2vQeIh 
T-Systems DE  @tsystemsde
Wie machen es eigentlich die Anderen? Erfahren Sie es auf dem @RedHatDACH @openshift Anwendertreffen 31.5.… https://t.co/gHh5MvpVfw 
T-Systems DE  @tsystemsde
Die große Schizophrenie: Deutschlands Onliner kennen die Gefahren im Internet, handeln aber nicht entsprechend @welt https://t.co/BYGLduf8gA