La tecnología está remodelando nuestro mundo. La proliferación de dispositivos móviles, la explosión de las redes sociales y el rápido crecimiento de la computación en la nube han dado lugar a una tormenta perfecta que está inundando el mundo con datos. Según estimaciones de Gartner, el desafío para las empresas es que el 80 por ciento de este «big data» no está estructurado, y está creciendo al doble de la tasa de datos estructurados.
A la luz de este crecimiento exponencial de datos caóticos, nunca ha habido una mayor necesidad de soluciones de datos que vayan más allá de lo que las bases de datos relacionales tradicionales pueden ofrecer. Ahí es donde entran en escena la plataforma de análisis de big data de código abierto Apache Hadoop y la aplicación NoSQL Apache Cassandra.
Lo que sigue es una breve comparación de las diferencias entre Hadoop y Cassandra, junto con cómo estas dos soluciones pueden complementarse entre sí para ofrecer información de gran alcance sobre big data. Echa un vistazo a un ejemplo de caso de uso de Hadoop, y cuándo la plataforma se puede emparejar con Cassandra para un rendimiento óptimo.
¿Qué es Hadoop?
Un producto del proyecto Apache Software Foundation, Hadoop es una plataforma de procesamiento de big data que utiliza software de código abierto, un sistema de archivos distribuido (HDFS) y un marco de programación conocido como MapReduce para almacenar, administrar y analizar conjuntos masivos de datos no estructurados en paralelo a través de clústeres distribuidos de servidores básicos a muy alta escala. Con Hadoop, tanto HDFS como MapReduce se ejecutan en el mismo conjunto de nodos. Esto permite que el marco de trabajo de Hadoop programe de manera efectiva las tareas de cómputo en los nodos donde los datos ya se están almacenando. Como resultado, Hadoop es el más adecuado para ejecutar análisis de tiempo cercano y orientados a lotes en vastos lagos de datos históricos» fríos», también conocidos como «fríos», en múltiples formatos, de una manera confiable y tolerante a fallos.
Si bien MapReduce es una herramienta de procesamiento de datos robusta y confiable, su principal inconveniente es la falta de velocidad. Como la mayoría de los trabajos de mapeo / reducción son trabajos por lotes de larga duración que pueden tardar minutos u horas o incluso completarse más, eso es de esperar. Claramente, las crecientes demandas y aspiraciones de big data requieren un tiempo de conocimiento más rápido, algo para lo que las cargas de trabajo por lotes de MapReduce no están diseñadas.
¿Qué es Cassandra?
Básicamente, Cassandra es una base de datos NoSQL distribuida diseñada para administrar grandes cantidades de datos estructurados en una variedad de servidores básicos. Cassandra cuenta con una arquitectura única que ofrece una alta distribución, un rendimiento de escala lineal y es capaz de manejar grandes cantidades de datos al tiempo que proporciona disponibilidad continua y tiempo de actividad a miles de usuarios simultáneos. A diferencia de Hadoop, que normalmente se implementa en una sola ubicación, la alta distribución de Cassandra permite la implementación en países y continentes. Además, Cassandra está siempre activo, siempre encendido y ofrece un rendimiento muy consistente en un entorno tolerante a fallos. Esto hace que Cassandra sea ideal para procesar cargas de trabajo en línea de naturaleza transaccional, donde Cassandra maneja un gran número de interacciones y tráfico simultáneo con cada interacción que produce pequeñas cantidades de datos.
A diferencia de Hadoop, que puede aceptar y almacenar datos en cualquier formato: estructurado, no estructurado, semiestructurado, imágenes, etc.- Cassandra necesita cierta estructura. Como resultado, se requiere mucha reflexión para estructurar un modelo de datos de Cassandra frente a un modelo de Hadoop antes de que pueda implementarse con éxito a escala.
¿Cómo se compara Cassandra con HBase?
HBase es un modelo de base de datos distribuida NoSQL que se incluye en el proyecto Apache Hadoop. Se ejecuta sobre el Sistema de Archivos Distribuido Hadoop (HDFS). HBase está diseñado para casos de uso de data lake y no se utiliza normalmente para aplicaciones web y móviles. Cassandra, por el contrario, ofrece la disponibilidad y el rendimiento necesarios para desarrollar aplicaciones siempre activas.
Combinando Cassandra y Hadoop
Las organizaciones actuales tienen dos necesidades de datos. En primer lugar, la necesidad de una base de datos dedicada a las operaciones en línea y al análisis de datos «calientes» generados por aplicaciones Web, móviles e IOT. En segundo lugar, la necesidad de una plataforma de big data orientada a lotes que soporte el procesamiento de grandes cantidades de datos históricos no estructurados «fríos». Al integrar estrechamente a Cassandra y Hadoop para trabajar juntos, se pueden satisfacer ambas necesidades.
Mientras que Cassandra funciona muy bien como un backend altamente tolerante a fallos para sistemas en línea, Cassandra no es tan amigable con los análisis como Hadoop. La implementación de Hadoop sobre Cassandra crea la capacidad de analizar datos en Cassandra sin tener que mover primero esos datos a Hadoop. Trasladar datos de Cassandra a Hadoop y HDFS es un proceso complicado y lento. Por lo tanto, Hadoop en Cassandra ofrece a las organizaciones una forma conveniente de obtener análisis operativos específicos e informes a partir de cantidades relativamente grandes de datos que residen en Cassandra en tiempo real. Con conocimientos de big data más rápidos y profundos, las organizaciones que aprovechan tanto Hadoop como Cassandra pueden satisfacer mejor las necesidades de sus clientes y obtener una ventaja más sólida sobre sus competidores.
