tehnologia ne remodelează lumea. Proliferarea dispozitivelor mobile, explozia rețelelor sociale și creșterea rapidă a cloud computing-ului au dat naștere unei furtuni perfecte care inundă lumea cu date. Conform estimărilor Gartner, provocarea pentru întreprinderi este că 80% din aceste „date mari” sunt nestructurate și cresc cu o rată de două ori mai mare decât cea a datelor structurate.
în lumina acestei creșteri exponențiale a datelor haotice, nu a existat niciodată o nevoie mai mare de soluții de date care să depășească ceea ce pot oferi bazele de date relaționale tradiționale. Aici intră în imagine platforma open-source de analiză a datelor mari Apache Hadoop și aplicația NoSQL Apache Cassandra.
ceea ce urmează este o scurtă comparație a diferențelor dintre Hadoop și Cassandra, împreună cu modul în care aceste două soluții se pot completa reciproc pentru a oferi informații puternice despre big data. Consultați un exemplu de caz de Utilizare Hadoop și când platforma poate fi asociată cu Cassandra pentru performanțe optime.
Ce este Hadoop?
un produs al proiectului Apache Software Foundation, Hadoop este o platformă mare de procesare a datelor care utilizează software open-source, un sistem de fișiere distribuit (HDFS) și un cadru de programare cunoscut sub numele de MapReduce pentru a stoca, gestiona și analiza seturi masive mari de date nestructurate în paralel pe clustere distribuite de servere de mărfuri la scară foarte mare. Cu Hadoop, atât HDFS, cât și Cadrul MapReduce rulează pe același set de noduri. Acest lucru permite cadrului Hadoop să programeze eficient sarcinile de calcul pe nodurile în care datele sunt deja stocate. Drept urmare, Hadoop este cel mai potrivit pentru rularea în apropierea timpului și a analizelor orientate pe loturi pe lacuri vaste de Date istorice „reci”-în mai multe formate—într—o manieră fiabilă și tolerantă la erori.
în timp ce MapReduce este un instrument robust și fiabil de procesare a datelor, principalul său dezavantaj este lipsa de viteză. Deoarece majoritatea locurilor de muncă map/reduce sunt locuri de muncă pe loturi de lungă durată, care pot dura minute sau ore sau chiar mai mult, este de așteptat. În mod clar, cererile și aspirațiile în creștere ale datelor mari necesită un timp mai rapid pentru a înțelege, pe care încărcările de lucru ale MapReduce nu sunt concepute pentru a le oferi.
Ce este Cassandra?
fundamental, Cassandra este o bază de date NoSQL distribuite concepute pentru a gestiona cantități mari de date structurate pe o serie de servere de mărfuri. Cassandra se mândrește cu o arhitectură unică care oferă o distribuție ridicată, performanță la scară liniară și este capabilă să gestioneze cantități mari de date, oferind în același timp disponibilitate continuă și timp de funcționare pentru mii de utilizatori concurenți. Spre deosebire de Hadoop, care este de obicei desfășurat într-o singură locație, distribuția ridicată a Cassandrei permite desfășurarea în țări și continente. În plus, Cassandra este mereu activă, mereu activă și oferă performanțe foarte consistente într-un mediu tolerant la erori. Acest lucru face ca Cassandra să fie ideală pentru procesarea sarcinilor de lucru online de natură tranzacțională, unde Cassandra gestionează un număr mare de interacțiuni și trafic simultan, fiecare interacțiune producând cantități mici de date.
spre deosebire de Hadoop, care poate accepta și stoca date în orice format—imagini structurate, nestructurate, semi-structurate etc.- Cassandra necesită o anumită structură. Drept urmare, este necesară multă gândire pentru a structura un model de date Cassandra vs.Modelul Hadoop înainte de a putea fi implementat cu succes la scară.
cum se compară Cassandra cu HBase?
HBase este un NoSQL, model de baze de date distribuite, care este inclus în proiectul Apache Hadoop. Se rulează pe partea de sus a sistemului de fișiere distribuite Hadoop (HDFS). HBase este proiectat pentru cazurile de utilizare a lacului de date și nu este utilizat de obicei pentru aplicații web și mobile. Cassandra, în schimb, oferă disponibilitatea și performanța necesare pentru dezvoltarea aplicațiilor mereu pe.
combinând Cassandra și Hadoop
organizațiile de astăzi au două nevoi de date. În primul rând, este nevoie de o bază de date dedicată operațiunilor online și analizei datelor ‘fierbinți’ generate de aplicațiile Web, mobile și IOT. În al doilea rând, necesitatea unei platforme de date mari orientate pe loturi, care să sprijine prelucrarea unor cantități mari de Date istorice nestructurate. Prin integrarea strânsă a Cassandrei și Hadoop pentru a lucra împreună, ambele nevoi pot fi satisfăcute.
în timp ce Cassandra funcționează foarte bine ca un backend foarte tolerant la erori pentru sistemele online, Cassandra nu este la fel de prietenoasă cu analizele ca Hadoop. Implementarea Hadoop pe partea de sus a Cassandra creează capacitatea de a analiza datele din Cassandra fără a fi nevoie să mutați mai întâi aceste date în Hadoop. Mutarea datelor de pe Cassandra în Hadoop și HDFS este un proces complicat și consumator de timp. Astfel, Hadoop pe Cassandra oferă organizațiilor o modalitate convenabilă de a obține analize operaționale specifice și raportare din cantități relativ mari de date care locuiesc în Cassandra într-un mod în timp real. Înarmate cu informații mai rapide și mai profunde despre big data, organizațiile care folosesc atât Hadoop, cât și Cassandra pot satisface mai bine nevoile clienților lor și pot obține un avantaj mai puternic față de concurenții lor.
