Big Data, el futuro de los datos
- 7 nov 2016
- 3 Min. de lectura
El procesamiento de datos a gran escala ya es una realidad, y está cambiando la manera en que las empresas hacen los negocios. El aumento de grandes volúmenes de información en los últimos años ha sido influenciado en mayor escala a las redes sociales.
Pero Big Data, no es un motor de base de datos, ni tampoco un software o siquiera una metodología. Es un concepto: se entiende por Big Data a cualquier conjunto de datos tan grande que se dificulta el ser procesado por las herramientas tradicionales.
El punto clave siempre está en la enorme cantidad de información que debe procesarse y analizarse, y el poco tiempo que se dispone para lograrlo.
La cantidad de información almacenada en las bases de datos se ha multiplicado exponencialmente en los últimos años y la tendencia es que la explosión continué sin un techo demasiado claro.
Algunos de los beneficios de implementar una solución de Big Data son:
Identificar nuevas fuentes de ingresos.
Conservar y adquirir clientes.
Desarrollar nuevos productos y servicios.
Mejorar la experiencia.
El concepto de Big Data trae aparejados complejos algoritmos de manejo de datos, que permiten su procesamiento en segundos. En este artículo veremos uno de los más utilizados hasta el momento, a la hora de implementar una solución de Big Data.
Modelo MapReduce
El origen de este modelo, surge en el 2004 con Google, al tener necesidad de optimizar el proceso de ranking de páginas (pagerank).
MapReduce es un modelo de programación basado en procesamiento en paralelo en grandes bloques de informaciòn. La idea es distribuir el procesamiento de la información en diferentes nodos, que cada uno pueda ser trabajado en paralelo y luego se pueda obtener un resultado único.
En la etapa de "Map"o mapeo, se realiza un proceso de transformación y se dividen los elementos en pequeñas particiones más pequeñas que luego son enviadas a cada nodo de procesamiento.
En la etapa de "Reduce", se itera sobre cada valor asociado de la etapa de mapeo y se produce un resultado único.
Bases de datos NoSQL
Muchas de las nuevas aplicaciones requieren un volumen de muchos Terabytes de datos cuyo tamaño impide poder ser manejados con las BD tradicionales. Por eso han surgido las Base de datos NoSQL, que permiten resolver los problemas de escalabilidad y rendimiento que presentan estos tamaños tan grandes, mediante nuevos entornos de manejo de datos distribuidos y escalables de forma horizontal (muchos discos en paralelos).
Es una amplia clase de sistemas de gestión de bases de datos que difieren del modelo clásico del sistema de gestión de bases de datos relacionales (RDBMS) en aspectos importantes, el más destacado es que no usan SQL como el principal lenguaje de consultas.
Ventajas
Estos sistemas responden a las necesidades de escalabilidad horizontal que tienen cada vez más empresas.
Pueden manejar enormes cantidades de datos.
No generan cuellos de botella.
Alta velocidad de escritura de datos que se generan en tiempo real.
Escalamiento sencillo.
Diferentes DBs NoSQL para diferentes proyectos.
Ejemplos
Cassandra
Base de datos clave / valor..
Multiplataforma.
Creada por Apache.
Es una aplicación Java.
Sintaxis pseudo SQL (CQL).
MongoDB
Base de datos documental.
Open source.
Escrito en C++.
Redis
Base de datos clave / valor.
Está escrito en ANSI C.
Apache Hadoop
Es por excelencia la primer herramienta escrita en Java que surge de cualquier investigación a la hora de indagar plataformas disponibles para trabajar en Big Data. Ésta implementa MapReduce como modelo de programación para trabajo en grandes escalas. La idea de armar un proyecto para manejar grandes volúmenes de información que luego dio origen a lo que hoy conocemos como Hadoop.
Conclusión
En la actualidad analizamos apenas el 1% de los datos que circulan por el ambiente digital. El mercado de Big Data está claramente en crecimiento y seguirá así por los próximos años complementándose con otro concepto en auge y que veremos en el artículo que viene como Internet Of Things (IoT).
¿Te ha gustado este artículo? Compártelo en las redes sociales. ¡Muchas Gracias!
Comentarios