Durante los dos últimos años, un periodo en el que Hadoop se ha convertido en el paradigma dominante del procesamiento big data, se han ido aclarando muchos aspectos. En primer lugar, Hadoop Distributed File System se estima que es hoy en día la plataforma de almacenamiento más adecuada para big data. En segundo lugar, Yarn se ha convertido en el sistema de asignación de recursos por excelencia en entornos big data. Y, en tercer lugar y tal vez la más importante, no existe ningún proceso de red que tenga capacidad de resolución para cada problema, todo y que MapReduce, siendo una tecnología destacada, tampoco tiene capacidad para afrontar todas las situaciones.

Los negocios que confían en Hadoop necesitan una variedad de infraestructuras de analítica y procesamiento con la finalidad de encontrar respuestas a sus críticos planteamientos. Los negocios necesitan respuestas relacionadas con la preparación de los datos, procesos de análisis descriptivos, búsquedas, análisis predictivos, y capacidades más avanzadas como metodologías para el aprendizaje de máquinas y procesamiento gráfico. Además, las organizaciones necesitan un conjunto de herramientas que estén presentes y activas desde cualquier ubicación, permitiéndoles controlar conjuntos de habilidades y otros recursos presentes en la compañía. Hasta hoy no existía ninguna red que fuese capaz de controlar todos estos criterios, hasta que ha llegado Spark.

A pesar de que Spark es un sistema de protección de datos relativamente joven, es capaz de hacer realidad la analítica avanzada de datos a través de una red de algoritmos de análisis que incluye una herramienta para acelerar los queries, una librería de aprendizaje M2M, un motor de procesamiento gráfico, y una herramienta de analítica de streaming. Unas librerías preconstruidas más fáciles y rápidas de usar preparan los datos para que los científicos los organicen en tareas que van más allá de la preparación de los mismos y que incluyen el control de calidad de la información, y la correcta interpretación de los resultados de los análisis.

Una demanda largamente esperada de Hadoop se concentraba en la dificultad que entrañaba su uso, y otra todavía más grave era la carencia fundamentada en localizar profesionales que pudiesen manejar la herramienta. Aunque Hadoop ha ido facilitando su uso y mejorando el rendimiento con cada nueva versión, la fama de sistema difícil de manejar todavía persiste. No obstante, no hace falta ser programador que sepa Java para manejarlo con éxito. Spark ha sido desarrollado para que pueda utilizarlo todo profesional que conozca el funcionamiento de las bases de datos y tenga conocimientos de scripting en Python o Scala.

– Network World