Technologie verändert unsere Welt. Die Verbreitung mobiler Geräte, die Explosion der sozialen Medien und das schnelle Wachstum des Cloud Computing haben zu einem perfekten Sturm geführt, der die Welt mit Daten überflutet. Laut Schätzungen von Gartner besteht die Herausforderung für Unternehmen darin, dass 80 Prozent dieser „Big Data“ unstrukturiert sind und doppelt so schnell wachsen wie strukturierte Daten.
Angesichts dieses exponentiellen Wachstums chaotischer Daten gab es noch nie einen größeren Bedarf an Datenlösungen, die über das hinausgehen, was traditionelle relationale Datenbanken bieten können. Hier setzen die Open-Source-Big-Data-Analyseplattform Apache Hadoop und die NoSQL-Anwendung Apache Cassandra an.
Was folgt, ist ein kurzer Vergleich der Unterschiede zwischen Hadoop und Cassandra, zusammen mit der Frage, wie sich diese beiden Lösungen ergänzen können, um leistungsstarke Big-Data-Erkenntnisse zu liefern. Sehen Sie sich ein Beispiel für einen Hadoop-Anwendungsfall an und erfahren Sie, wann die Plattform mit Cassandra gekoppelt werden kann, um eine optimale Leistung zu erzielen.
Was ist Hadoop?
Hadoop ist ein Produkt des Apache Software Foundation-Projekts und eine Big-Data-Verarbeitungsplattform, die Open-Source-Software, ein verteiltes Dateisystem (HDFS) und ein Programmierframework namens MapReduce verwendet, um große Mengen unstrukturierter Daten parallel über verteilte Cluster von Commodity-Servern in sehr großem Maßstab zu speichern, zu verwalten und zu analysieren. Mit Hadoop werden sowohl HDFS als auch das MapReduce-Framework auf demselben Knotensatz ausgeführt. Auf diese Weise kann das Hadoop-Framework Rechenaufgaben auf Knoten, auf denen bereits Daten gespeichert sind, effektiv planen. Daher ist Hadoop am besten geeignet, um zeitnahe und batch-orientierte Analysen auf riesigen Seen „kalter“, auch bekannt als historische Daten, in mehreren Formaten zuverlässig und fehlertolerant auszuführen.
Während MapReduce ein robustes und zuverlässiges Datenverarbeitungswerkzeug ist, ist sein Hauptnachteil ein Mangel an Geschwindigkeit. Da es sich bei den meisten Map / Reduce-Jobs um lang laufende Batch-Jobs handelt, deren Ausführung Minuten, Stunden oder sogar länger dauern kann, ist dies zu erwarten. Die wachsenden Anforderungen und Bestrebungen von Big Data erfordern eindeutig eine schnellere Einsichtszeit, für die die Batch-Workloads von MapReduce nicht ausgelegt sind.
Was ist Cassandra?
Grundsätzlich ist Cassandra eine verteilte NoSQL-Datenbank, die zur Verwaltung großer Mengen strukturierter Daten auf einer Reihe von Commodity-Servern entwickelt wurde. Cassandra verfügt über eine einzigartige Architektur, die eine hohe Verteilung und lineare Skalierbarkeit bietet und in der Lage ist, große Datenmengen zu verarbeiten und gleichzeitig Tausenden von gleichzeitigen Benutzern kontinuierliche Verfügbarkeit und Verfügbarkeit zu bieten. Im Gegensatz zu Hadoop, das normalerweise an einem einzigen Ort bereitgestellt wird, ermöglicht Cassandras hohe Verteilung die Bereitstellung über Länder und Kontinente hinweg. Darüber hinaus ist Cassandra immer aktiv und bietet eine sehr konsistente Leistung in einer fehlertoleranten Umgebung. Dies macht Cassandra ideal für die Verarbeitung von Online-Workloads transaktionaler Natur, bei denen Cassandra eine große Anzahl von Interaktionen und gleichzeitigen Datenverkehr verarbeitet, wobei jede Interaktion kleine Datenmengen ergibt.
Im Gegensatz zu Hadoop, das Daten in jedem Format akzeptieren und speichern kann — strukturiert, unstrukturiert, halbstrukturiert, Bilder usw.-Cassandra erfordert eine bestimmte Struktur. Daher ist viel Nachdenken erforderlich, um ein Cassandra-Datenmodell im Vergleich zum Hadoop-Modell zu strukturieren, bevor es erfolgreich in großem Maßstab implementiert werden kann.
Wie unterscheidet sich Cassandra von HBase?
HBase ist ein verteiltes NoSQL-Datenbankmodell, das im Apache Hadoop-Projekt enthalten ist. Es läuft auf dem Hadoop Distributed File System (HDFS). HBase wurde für Data Lake-Anwendungsfälle entwickelt und wird normalerweise nicht für Web- und mobile Anwendungen verwendet. Cassandra hingegen bietet die Verfügbarkeit und Leistung, die für die Entwicklung von Always-On-Anwendungen erforderlich sind.
Kombination von Cassandra und Hadoop
Die heutigen Organisationen haben zwei Datenanforderungen. Erstens ist eine Datenbank erforderlich, die sich dem Online-Betrieb und der Analyse heißer Daten widmet, die von Web-, Mobil- und IOT-Anwendungen generiert werden. Zweitens die Notwendigkeit einer batch-orientierten Big-Data-Plattform, die die Verarbeitung großer Mengen ‚kalter‘ unstrukturierter historischer Daten unterstützt. Durch die enge Integration von Cassandra und Hadoop können beide Anforderungen erfüllt werden.
Während Cassandra als hoch fehlertolerantes Backend für Online-Systeme sehr gut funktioniert, ist Cassandra nicht so analysefreundlich wie Hadoop. Durch die Bereitstellung von Hadoop auf Cassandra können Daten in Cassandra analysiert werden, ohne dass diese Daten zuerst in Hadoop verschoben werden müssen. Das Verschieben von Daten von Cassandra nach Hadoop und HDFS ist ein komplizierter und zeitaufwändiger Prozess. Hadoop on Cassandra bietet Unternehmen somit eine bequeme Möglichkeit, spezifische Betriebsanalysen und Berichte aus relativ großen Datenmengen in Cassandra in Echtzeit abzurufen. Mit schnelleren und tieferen Big-Data-Erkenntnissen können Unternehmen, die sowohl Hadoop als auch Cassandra nutzen, die Anforderungen ihrer Kunden besser erfüllen und einen stärkeren Vorsprung gegenüber ihren Mitbewerbern erzielen.
