Los ingenieros de datos son miembros vitales de cualquier equipo de análisis de datos empresariales, responsables de administrar, optimizar, supervisar y monitorear la recuperación, el almacenamiento y la distribución de datos en toda la organización.

¿Qué es un ingeniero de datos?

Los ingenieros de datos (data engineers) diseñan, crean y optimizan sistemas para la recopilación, el almacenamiento, el acceso y el análisis de datos a escala. Crean canalizaciones de datos utilizadas por científicos de datos, aplicaciones centradas en datos y otros consumidores de datos.

Este rol de TI requiere un conjunto significativo de habilidades técnicas, incluido un conocimiento profundo del diseño de bases de datos SQL y múltiples lenguajes de programación. Los ingenieros de datos también necesitan habilidades de comunicación para trabajar entre departamentos y comprender lo que los líderes empresariales quieren obtener de los grandes conjuntos de datos de la empresa.

Los ingenieros de datos a menudo son responsables de crear algoritmos para acceder a datos sin procesar, pero para hacerlo, deben comprender los objetivos de una empresa o cliente, ya que es importante alinear las estrategias de datos con los objetivos comerciales, especialmente cuando se trata de bases de datos y conjuntos de datos grandes y complejos.

Los ingenieros de datos también deben saber cómo optimizar la recuperación de datos y cómo desarrollar paneles, informes y otras visualizaciones para las partes interesadas. Según la organización, los ingenieros de datos también pueden ser responsables de comunicar las tendencias de los datos. Las organizaciones más grandes a menudo tienen varios analistas de datos o científicos para ayudar a comprender los datos, mientras que las empresas más pequeñas pueden depender de un ingeniero de datos para trabajar en ambos roles.

El rol del ingeniero de datos

Según Dataquest, hay tres roles principales en los que pueden caer los ingenieros de datos. Éstos incluyen:

• Generalista: los ingenieros de datos que normalmente trabajan para equipos pequeños o pequeñas empresas usan muchos sombreros como una de las pocas personas “centradas en los datos” en la empresa. Estos generalistas suelen ser responsables de cada paso del proceso de datos, desde la gestión de datos hasta su análisis. Dataquest dice que este es un buen rol para cualquiera que busque hacer la transición de la ciencia de datos a la ingeniería de datos, ya que las empresas más pequeñas a menudo no necesitan diseñar para escalar.
• Centrados en canalización: a menudo se encuentran en empresas medianas, los ingenieros de datos centrados en canalización trabajan junto con científicos de datos para ayudar a hacer uso de los datos que recopilan. Los ingenieros de datos centrados en tuberías necesitan “un conocimiento profundo de los sistemas distribuidos y la informática”, según Dataquest.
• Centrado en la base de datos: en organizaciones más grandes, donde administrar el flujo de datos es un trabajo de tiempo completo, los ingenieros de datos se enfocan en las bases de datos de análisis. Los ingenieros de datos centrados en bases de datos trabajan con almacenes de datos en múltiples bases de datos y son responsables de desarrollar esquemas de tablas.

Descripción del puesto de ingeniero de datos

Los ingenieros de datos son responsables de administrar y organizar los datos, al mismo tiempo que están atentos a las tendencias o inconsistencias que afectarán los objetivos comerciales. Es una posición altamente técnica, que requiere experiencia y habilidades en áreas como programación, matemáticas e informática. Pero los ingenieros de datos también necesitan habilidades blandas para comunicar tendencias de datos a otros en la organización y para ayudar a la empresa a hacer uso de los datos que recopila. Algunas de las responsabilidades más comunes de un ingeniero de datos incluyen:

• Desarrollar, construir, probar y mantener arquitecturas.
• Alinear la arquitectura con los requisitos comerciales.
• Adquisición de datos.
• Desarrollar procesos de conjuntos de datos.
• Utilizar lenguaje y herramientas de programación.
• Identificar formas de mejorar la confiabilidad, eficiencia y calidad de los datos.
• Llevar a cabo investigaciones sobre cuestiones comerciales y de la industria.
• Use grandes conjuntos de datos para abordar problemas comerciales.
• Implemente sofisticados programas de análisis, aprendizaje automático y métodos estadísticos.
• Preparar datos para modelos predictivos y prescriptivos.
• Encuentra patrones ocultos usando datos.
• Use datos para descubrir tareas que se pueden automatizar.
• Entregar actualizaciones a las partes interesadas basadas en análisis.

Ingeniero de datos vs. científico de datos

Los ingenieros de datos y los científicos de datos a menudo trabajan en estrecha colaboración, pero cumplen funciones muy diferentes. Los ingenieros de datos son responsables de desarrollar, probar y mantener canalizaciones de datos y arquitecturas de datos. Los científicos de datos utilizan la ciencia de datos para descubrir información a partir de cantidades masivas de datos estructurados y no estructurados para dar forma o satisfacer necesidades y objetivos comerciales específicos.

Ingeniero de datos vs. arquitecto de datos

Los roles de ingeniero de datos y arquitecto de datos están estrechamente relacionados y con frecuencia se confunden. Los arquitectos de datos son visionarios senior que traducen los requisitos comerciales en requisitos tecnológicos y definen los estándares y principios de datos. Visualizan y diseñan la arquitectura de datos empresariales de una organización . Los ingenieros de datos trabajan con el arquitecto de datos para crear esa visión, construyendo y manteniendo los sistemas de datos especificados por el marco de datos del arquitecto de datos.

Salario de un ingeniero de datos

Según Glassdoor, el salario promedio de un ingeniero de datos es de 117,671 dólares por año en Estados Unidos, con un rango de salario informado de 87,000 a 174,000 dólares según las habilidades, la experiencia y la ubicación. Los ingenieros de datos sénior ganan un salario promedio de 134,244 dólares por año, mientras que los ingenieros de datos líderes ganan un salario promedio de 139,907 dólares por año.

Esto es lo que algunas de las principales empresas tecnológicas pagan en promedio a sus ingenieros de datos en Estados Unidos, según Glassdoor:

Habilidades de ingeniero de datos

Las habilidades en su currículum pueden afectar sus negociaciones salariales, en algunos casos en más del 15%. Según los datos de PayScale, las siguientes habilidades de ingeniería de datos están asociadas con un aumento significativo en los salarios informados:

• Ruby: +32%
• Oracle: +26%
• MapReduce: +26%
• JavaScript: +24%
• Amazon Redshift: +21%
• Apache Cassandra: +18%
• Apache Sqoop: +12%
• Data Quality: +11%
• Apache HBase: +10%
• Statistical Analysis: +10%

Certificaciones de ingeniero de datos

Sólo hay disponibles algunas certificaciones específicas de ingeniería de datos, aunque hay muchas certificaciones de ciencia de datos y big data para elegir si desea expandirse más allá de las habilidades de ingeniería de datos.

Aún así, para demostrar su mérito como ingeniero de datos, cualquiera de estas certificaciones se verá genial en su currículum:

• Análisis de datos certificados por Amazon Web Services (AWS): especialidad
• Generalista de la plataforma de datos de Cloudera
• Ingeniero Asociado de Big Data del Consejo de Ciencia de Datos de América (DASCA)
• Ingeniero de datos profesional de Google

Cómo convertirse en un ingeniero de datos

Los ingenieros de datos suelen tener experiencia en informática, ingeniería, matemáticas aplicadas o cualquier otro campo de TI relacionado. Debido a que el puesto requiere un gran conocimiento técnico, los aspirantes a ingenieros de datos pueden encontrar que un bootcamp o una certificación por sí solas no son suficientes para competir. La mayoría de los trabajos de ingeniería de datos requieren al menos una licenciatura relevante en una disciplina relacionada, según PayScale.

Necesitará experiencia con múltiples lenguajes de programación, incluidos Python y Java, y conocimiento del diseño de bases de datos SQL. Si ya tiene experiencia en TI o en una disciplina relacionada, como matemáticas o análisis, un bootcamp o una certificación pueden ayudarlo a adaptar su currículum a los puestos de ingeniería de datos. Por ejemplo, si ha trabajado en TI pero no ha tenido un trabajo de datos específico, puede inscribirse en un campo de entrenamiento de ciencia de datos u obtener una certificación de ingeniería de datos para demostrar que tiene las habilidades además de sus otros conocimientos de TI.

Si no tiene experiencia en tecnología o TI, es posible que deba inscribirse en un programa detallado para demostrar su competencia en el campo o invertir en un programa de pregrado. Si tiene un título universitario, pero no es en un campo relevante, siempre puede buscar programas de maestría en análisis de datos e ingeniería de datos.

En última instancia, dependerá de su situación y de los tipos de trabajos que tenga en mente. Tómese el tiempo para buscar ofertas de trabajo para ver qué buscan las empresas, y eso le dará una mejor idea de cómo su experiencia puede encajar en ese puesto.

Sarah K. White y Thor Olavsrud, CIO.com