Contenido Exclusivo

La efectividad de Spark en el análisis de big data

Durante los dos últimos años, un periodo en el que Hadoop se ha convertido en el paradigma dominante del procesamiento big data, se han ido aclarando muchos aspectos. En primer lugar, Hadoop Distributed File System se estima que es hoy en día la plataforma de almacenamiento más adecuada para big data. En segundo lugar, Yarn se ha convertido en el sistema de asignación de recursos por excelencia en entornos big data. Y, en tercer lugar y tal vez la más importante, no existe ningún proceso de red que tenga capacidad de resolución para cada problema, todo y que MapReduce, siendo una tecnología destacada, tampoco tiene capacidad para afrontar todas las situaciones.

Los negocios que confían en Hadoop necesitan una variedad de infraestructuras de analítica y procesamiento con la finalidad de encontrar respuestas a sus críticos planteamientos. Los negocios necesitan respuestas relacionadas con la preparación de los datos, procesos de análisis descriptivos, búsquedas, análisis predictivos, y capacidades más avanzadas como metodologías para el aprendizaje de máquinas y procesamiento gráfico. Además, las organizaciones necesitan un conjunto de herramientas que estén presentes y activas desde cualquier ubicación, permitiéndoles controlar conjuntos de habilidades y otros recursos presentes en la compañía. Hasta hoy no existía ninguna red que fuese capaz de controlar todos estos criterios, hasta que ha llegado Spark.

A pesar de que Spark es un sistema de protección de datos relativamente joven, es capaz de hacer realidad la analítica avanzada de datos a través de una red de algoritmos de análisis que incluye una herramienta para acelerar los queries, una librería de aprendizaje M2M, un motor de procesamiento gráfico, y una herramienta de analítica de streaming. Unas librerías preconstruidas más fáciles y rápidas de usar preparan los datos para que los científicos los organicen en tareas que van más allá de la preparación de los mismos y que incluyen el control de calidad de la información, y la correcta interpretación de los resultados de los análisis.

Una demanda largamente esperada de Hadoop se concentraba en la dificultad que entrañaba su uso, y otra todavía más grave era la carencia fundamentada en localizar profesionales que pudiesen manejar la herramienta. Aunque Hadoop ha ido facilitando su uso y mejorando el rendimiento con cada nueva versión, la fama de sistema difícil de manejar todavía persiste. No obstante, no hace falta ser programador que sepa Java para manejarlo con éxito. Spark ha sido desarrollado para que pueda utilizarlo todo profesional que conozca el funcionamiento de las bases de datos y tenga conocimientos de scripting en Python o Scala.

– Network World

 

Lo Más Reciente

Se detona crecimiento de centros de datos en México

Durante las últimas semanas han surgido noticias de convenios...

Miami será el epicentro de la nueva era del Open Banking en 2025

El acceso a datos abiertos y la integración de...

Reciente informe de Check Point analiza el cibercrimen global y mexicano

El panorama de la ciberseguridad se encuentra en constante...

T-Systems: Estrategias clave para el mercado TI mexicano

T-Systems, con 30 años de presencia en México, redefine...

Newsletter

Recibe lo último en noticias e información exclusiva.

Mireya Cortés
Mireya Cortés
Editora CIO Ediworld Online. La puedes contactar en [email protected]

Se detona crecimiento de centros de datos en México

Durante las últimas semanas han surgido noticias de convenios de colaboración entre empresas, gobiernos y agrupaciones, tal es el caso de la reciente alianza...

Miami será el epicentro de la nueva era del Open Banking en 2025

El acceso a datos abiertos y la integración de nuevas tecnologías están transformando la industria financiera a nivel global. Con regulaciones en evolución y...

Reciente informe de Check Point analiza el cibercrimen global y mexicano

El panorama de la ciberseguridad se encuentra en constante evolución, presentando desafíos cada vez más complejos para las organizaciones a nivel global y, particularmente,...