technologia zmienia nasz świat. Rozprzestrzenianie się urządzeń mobilnych, eksplozja mediów społecznościowych i szybki rozwój chmury obliczeniowej doprowadziły do idealnej burzy, która zalewa świat danymi. Według szacunków firmy Gartner wyzwaniem dla przedsiębiorstw jest fakt, że 80 procent tych „dużych zbiorów danych” jest nieustrukturyzowanych i rośnie dwukrotnie szybciej niż dane ustrukturyzowane.

w świetle tego wykładniczego wzrostu chaotycznych danych nigdy nie było większego zapotrzebowania na rozwiązania danych wykraczające poza to, co mogą zaoferować tradycyjne relacyjne bazy danych. To tam wkracza otwarta platforma analityczna big data Apache Hadoop i aplikacja NoSQL Apache Cassandra.

Poniżej znajduje się krótkie porównanie różnic między Hadoop a Cassandrą, wraz z tym, w jaki sposób te dwa rozwiązania mogą się wzajemnie uzupełniać, aby zapewnić potężny wgląd w big data. Sprawdź jeden z przykładów użycia Hadoop i kiedy platformę można sparować z Cassandrą w celu uzyskania optymalnej wydajności.

Co To jest Hadoop?

produkt projektu Apache Software Foundation, Hadoop jest platformą przetwarzania dużych zbiorów danych, która wykorzystuje oprogramowanie open-source, rozproszony system plików (HDFS) i ramy programowania znane jako MapReduce do przechowywania, zarządzania i analizowania masowo dużych zbiorów nieustrukturyzowanych danych równolegle w rozproszonych klastrach serwerów towarowych o bardzo dużej skali. Dzięki Hadoop, zarówno HDFS, jak i Framework MapReduce działają na tym samym zestawie węzłów. Pozwala to frameworkowi Hadoop na efektywne planowanie zadań obliczeniowych na węzłach, w których dane są już przechowywane. W rezultacie Hadoop najlepiej nadaje się do prowadzenia analizy zbliżonej do czasu i zorientowanej wsadowo na rozległych jeziorach „zimnych”, czyli historycznych danych-w wielu formatach—w niezawodny i odporny na awarie sposób.

chociaż MapReduce jest solidnym i niezawodnym narzędziem do przetwarzania danych, jego główną wadą jest brak szybkości. Ponieważ większość zadań map / reduce to długotrwałe zadania wsadowe, które mogą trwać minuty lub godziny, a nawet dłużej, należy się tego spodziewać. Wyraźnie widać, że rosnące wymagania i aspiracje związane z big data wymagają szybszego dostępu do informacji, czego nie są zaprojektowane do realizacji zadań wsadowych MapReduce.

czym jest Cassandra?

zasadniczo Cassandra jest rozproszoną bazą danych NoSQL zaprojektowaną do zarządzania ogromnymi ilościami ustrukturyzowanych danych na wielu serwerach towarowych. Cassandra może pochwalić się unikalną architekturą, która zapewnia wysoką wydajność dystrybucji, liniową skalę i jest w stanie obsługiwać duże ilości danych, zapewniając jednocześnie ciągłą dostępność i czas pracy tysiącom jednoczesnych użytkowników. W przeciwieństwie do Hadoop, który jest zazwyczaj wdrażany w jednej lokalizacji, wysoka Dystrybucja Cassandry pozwala na wdrożenie w różnych krajach i na kontynentach. Ponadto Cassandra jest zawsze aktywna, zawsze aktywna i zapewnia bardzo stałą wydajność w środowisku odpornym na awarie. To sprawia, że Cassandra idealnie nadaje się do przetwarzania obciążeń online o charakterze transakcyjnym, gdzie Cassandra obsługuje dużą liczbę interakcji i jednoczesny ruch z każdą interakcją, dostarczając niewielkie ilości danych.

w przeciwieństwie do Hadoop, który może przyjmować i przechowywać dane w dowolnym formacie—strukturalnym, niestrukturalnym, półstrukturalnym, obrazów itp.- Cassandra wymaga pewnej struktury. W związku z tym, aby model danych Cassandra i model Hadoop mogły zostać skutecznie zaimplementowane w skali, trzeba dużo przemyśleć.

Jak się ma Cassandra do HBase?

HBase jest rozproszonym modelem baz danych NoSQL, który jest zawarty w projekcie Apache Hadoop. Działa na bazie rozproszonego systemu plików Hadoop (HDFS). HBase jest przeznaczony dla przypadków użycia jeziora danych i nie jest zwykle używany w aplikacjach internetowych i mobilnych. Cassandra natomiast oferuje dostępność i wydajność niezbędną do tworzenia zawsze włączonych aplikacji.

łączenie Cassandry i Hadoop

dzisiejsze organizacje mają dwa potrzeby w zakresie danych. Po pierwsze, potrzeba bazy danych poświęconej operacjom online i analizie „gorących” danych generowanych przez aplikacje internetowe, mobilne i IOT. Po drugie, potrzeba wsadowej platformy big data, która wspiera przetwarzanie ogromnych ilości „zimnych” nieustrukturyzowanych danych historycznych. Poprzez ścisłą integrację Cassandry i Hadoop do współpracy, można zaspokoić obie potrzeby.

chociaż Cassandra działa bardzo dobrze jako wysoce odporny na błędy backend dla Systemów online, Cassandra nie jest tak przyjazna analityce jak Hadoop. Wdrożenie Hadoop na Cassandrze umożliwia analizowanie danych w Cassandrze bez konieczności ich przenoszenia do Hadoop. Przenoszenie danych z Cassandry do Hadoop i HDFS jest skomplikowanym i czasochłonnym procesem. Dlatego Hadoop on Cassandra zapewnia organizacjom wygodny sposób uzyskiwania konkretnych analiz operacyjnych i raportowania ze stosunkowo dużych ilości danych znajdujących się w Cassandrze w czasie rzeczywistym. Uzbrojone w szybsze i głębsze analizy big data organizacje, które wykorzystują zarówno Hadoop, jak i Cassandra, mogą lepiej zaspokoić potrzeby swoich klientów i zyskać silniejszą przewagę nad konkurencją.