Junto con el aspecto social, móvil y la nube, las tecnologías de analítica y datos asociados han surgido como disruptores del negocio principal en la era digital. A medida que las empresas dejaron de ser generadoras de datos para volverse organizaciones impulsadas por datos en el 2017, los datos y la analítica se convirtieron en el centro de gravedad de muchas empresas. En el 2018, estas tecnologías deben comenzar a generar valor. Estos son los enfoques, roles e inquietudes que impulsarán las estrategias de analítica de datos en el próximo año.

Los lagos de datos deberán demostrar su valor empresarial o no durarán
Los datos se han acumulado en la empresa a un ritmo vertiginoso durante años. Internet de las cosas (IoT, por sus siglas en inglés) solo acelerará la creación de datos a medida que las fuentes de datos se trasladan de la web a los dispositivos móviles, y luego a las máquinas.

“Esto ha creado una gran necesidad de escalar los canales de datos de una manera rentable”, señaló Guy Churchward, CEO del proveedor de plataforma de datos en tiempo real DataTorrent.

Para muchas empresas, impulsadas por tecnologías como Apache Hadoop, la respuesta fue crear lagos de datos -plataformas de administración de datos para almacenar todos los datos de una organización en formatos nativos. Los lagos de datos prometieron dividir los silos de información proporcionando un único repositorio de datos que podía ser usado por toda la organización para cualquier tema, desde la analítica empresarial hasta la extracción de datos. Los lagos de datos sin procesar y sin gobernar se han establecido como un gran ‘catch-all‘ y ‘cure-all‘ de datos.

Pero aunque los lagos de datos han demostrado ser exitosos en el  almacenamiento de cantidades masivas de datos, ha sido difícil obtener información accionable de tales datos.

“El lago de datos funcionó en las empresas fantásticamente bien durante la era de datos ‘en reposo’ y ‘en lote’”, anotó Churchward. “En el 2015, comenzó a ser evidente que esta arquitectura se estaba utilizando en exceso, pero ahora se ha convertido en el talón de Aquiles para la verdadera analítica de datos en tiempo real. Aparcar los datos, y luego analizarlos, pone a las empresas en una situación de gran desventaja. Cuando se trata de obtener información y tomar medidas tan rápido como lo permita el cálculo, las empresas que se basan en datos de eventos obsoletos crean un eclipse total de visibilidad, acciones y cualquier posible solución inmediata. Esta es un área donde ‘lo suficientemente bueno’ resultará estratégicamente fatal”.

Monte Zweben, CEO de Splice Machine, está de acuerdo.

“La era de desilusión de Hadoop golpea con todo; con muchas empresas ahogadas en sus lagos de datos, incapaces de obtener un ROI debido a la complejidad de los motores de cómputo basados en Hadoop”, predijo Zweben para el 2018.

Para sobrevivir al 2018, los lagos de datos tendrán que comenzar a probar su valor empresarial, añadió Ken Hoang, vicepresidente de estrategia y alianzas del especialista en catálogos de datos Alation.

“El nuevo vertedero de datos -lagos de datos- ha pasado por implementaciones experimentales en los últimos años, y comenzará a cerrarse a menos que demuestren que pueden ofrecer valor”, indicó Hoang. “El sello distintivo de un lago de datos exitoso será contar con un catálogo empresarial que reúna la búsqueda y administración de la información, junto con la inteligencia artificial para ofrecer nuevos conocimientos al negocio”.

Sin embargo, Hoang no cree que todo esté perdido para los lagos de datos. Él predijo que éstos y otros grandes centros de datos pueden encontrar una nueva oportunidad con lo que él llama “súper hubs”, que pueden ofrecer “contexto como servicio” a través del aprendizaje automático.

“Las implementaciones de grandes centros de datos en los últimos 25 años (por ejemplo, almacenes de datos, gestión de datos maestros, lagos de datos, Salesforce y ERP) generaron más silos de datos difíciles de entender, de relacionar o compartir”, afirmó Hoang. “Un centro que agrupe todos los centros brindará la capacidad de relacionar los activos dentro de éstos, habilitando el contexto como servicio. A su vez, generará información predictiva más relevante y potente para lograr resultados empresariales operativos mejores y rápidos”.

Ted Dunning, arquitecto jefe de aplicaciones para MapR, predijo un cambio similar: a medida que los grandes sistemas de datos se conviertan en un centro de gravedad en términos de almacenamiento, acceso y operaciones; las empresas buscarán construir un tejido de datos global que brinde acceso integral a datos de muchas fuentes y a la computación para sistemas verdaderamente multi-tenant.

“Veremos que cada vez más empresas tratan la computación en términos de flujos de datos, en lugar de datos que solo son procesados y aterrizados en una base de datos”, afirmó Dunning. “Estos flujos de datos capturan los principales eventos empresariales y reflejan la estructura del negocio. Un tejido de datos unificado será la base para construir estos sistemas a gran escala basados en flujo”.

Langley Eide, director de estrategias del especialista en análisis de datos de autoservicio Alteryx, dijo que TI no estará solo en la tarea de hacer que los lagos de datos generen valor: analistas de líneas de negocios (LOB) y jefes digitales (CDOs) también tendrán que asumir la responsabilidad este 2018.

“La mayoría de los analistas no han aprovechado la gran cantidad de recursos no estructurados como datos de clickstream, datos de IoT, de registro, etc., que han inundado sus lagos de datos; en gran parte porque es difícil hacerlo”, señaló Eide. “Pero sinceramente, los analistas no están haciendo su trabajo si dejan intactos estos datos. Se entiende ampliamente que muchos lagos de datos son activos de bajo rendimiento: las personas no saben qué hay ahí, cómo acceder, o cómo crear perspectivas a partir de los datos. Esta realidad cambiará en el 2018, a medida que más CDOs y empresas quieran un mejor ROI para sus lagos de datos”.

Eide predijo que en el 2018 los analistas reemplazarán las herramientas de “fuerza bruta” -como Excel y SQL- por técnicas y tecnologías más programáticas, como la catalogación de datos, para descubrir y obtener más valor de los datos.

El CDO llegará a ser mayor de edad
Como parte de este nuevo impulso para obtener mejores perspectivas de los datos, Eide también predijo que el rol de CDO se desarrollará plenamente en el 2018.

“Los datos son esencialmente el nuevo petróleo, y el CDO comienza a ser reconocido como el eje para abordar uno de los problemas más importantes en las empresas hoy en día: impulsar el valor de los datos”, señaló Eide. “A menudo, con un presupuesto de menos de 10 millones de dólares, uno de los mayores desafíos y oportunidades para los CDOs es hacer realidad la muy publicitada oportunidad de autoservicio mediante el acercamiento de los activos de datos corporativos a los usuarios de la línea de negocio. En el 2018, los CDOs que trabajan para lograr un equilibrio entre una función centralizada y las capacidades integradas en LOB, finalmente obtendrán los presupuestos más grandes”.

Eide consideró que los CDOs que logran que los recursos, habilidades y funcionalidad cambien rápidamente entre centros de excelencia y LOB, encontrarán el mayor éxito. Eide indicó que para esto las plataformas y metodologías agile son clave.

¿Aumento del curador de datos?
Tomer Shiran, CEO y cofundador de la startup de analítica Dremio, una fuerza motriz detrás del proyecto de código abierto Apache Arrow, predijo que las empresas verán la necesidad de un nuevo rol: el curador de datos.

Shiran comentó que el curador de datos se encuentra entre los consumidores de datos (analistas y científicos de datos que usan herramientas como Tableau y Python para responder a preguntas importantes con datos), e ingenieros de datos (las personas que mueven y transforman datos entre sistemas utilizando lenguajes de script, Spark, Hive y MapReduce). Para tener éxito, los curadores de datos deben comprender el significado de los datos, así como el de las tecnologías que se aplican a estos.

“El curador de datos se encarga de comprender los tipos de análisis que deben ser llevados a cabo por diferentes grupos dentro de la organización, qué conjuntos de datos están correctamente equipados para el trabajo, y los pasos del proceso de tomar los datos en estado natural y darles la forma necesaria para el trabajo que un consumidor de datos llevará a cabo”, anotó Shiran. “El curador de datos utiliza sistemas, como plataformas de datos de autoservicio, para acelerar el proceso end-to-end de proporcionar acceso a conjuntos de datos esenciales a los consumidores de datos sin hacer copias infinitas de la información”.

Las estrategias de gobernanza de datos serán temas clave para todos los ejecutivos de nivel C
El Reglamento General de Protección de Datos (GDPR) de la Unión Europea entrará en vigencia el 25 de mayo del 2018, y se perfila como un espectro sobre el campo de la analítica, aunque no todas las empresas están preparadas.

El GDPR se aplicará directamente en todos los estados miembros de la UE, y cambiará radicalmente cómo las empresas deben buscar el consentimiento para recoger y procesar los datos de los ciudadanos de la UE, explicaron los abogados de Global Privacy + Data Security Group de Morrison & Foerster: Miriam Wugmeister, copresidenta de Global Privacy; Lokke Moerel, experto en privacidad europea; y John Carlin, presidente de Global Risk y Crisis Management (y ex secretario adjunto de Justicia de la División de Seguridad Nacional del Departamento de Justicia de EE.UU.).

“Las empresas que confían en el consentimiento para todas sus operaciones de procesamiento ya no podrán hacerlo, y necesitarán otras bases legales (es decir, necesidad contractual e interés legítimo)”, explicaron. “Las empresas tendrán que implementar un ecosistema completamente nuevo para recibir notificaciones y consentimientos”.

A pesar de que las multas de GDPR son potencialmente masivas -las multas administrativas pueden ser de hasta 20 millones de euros o el 4% de la facturación global anual, lo que sea mayor- muchas empresas, particularmente en los EE.UU., no están preparadas.

“Cuando se produjo el boom del año 2000, todos se estaban preparando para las probabilidades que podían o no enfrentar”, señaló Scott Gnau, CTO de Hortonworks. “Hoy, parece que nadie se está preparando adecuadamente para cuando GDPR se aplique en mayo del 2018. ¿Por qué no? Actualmente estamos en una fase en la que las organizaciones no solo están tratando de lidiar con lo que viene, sino que están luchando por mantener y abordar los problemas que necesitan ser resueltos en el momento. Es probable que muchas organizaciones confíen en los jefes de seguridad para definir las reglas, los sistemas, parámetros, etc., para ayudar a sus integradores de sistemas globales a determinar el mejor curso de acción. No es una expectativa realista para el rol individual de una persona”.

Para hacer cumplir el GDPR correctamente, se requiere que la C-suite esté informada, preparada y sea comunicativa con todas las facetas de su organización, afirmó Gnau. Las organizaciones necesitarán un mejor manejo del gobierno general de sus activos de datos. Pero las brechas grandes, como la de Equifax que salió a la luz en el 2017, significa que tendrán dificultades para equilibrar la provisión de autoservicio de acceso a los datos para los empleados, y al mismo tiempo la protección de esos datos de posibles amenazas.

Como resultado, Gnau predijo que la gobernanza de datos será un punto de enfoque para todas las organizaciones en el 2018.

“Un objetivo clave debería ser el desarrollo de un sistema que equilibre la democratización de datos, acceso, analítica de autoservicio y regulación”, indicó Gnau. “En el futuro, la forma en que diseñamos los datos de manera segura tendrá un impacto en todos: clientes en los EE.UU. y en el extranjero, los medios, sus socios y más”.

Zachary Bosin, director de marketing de soluciones para el especialista en gestión de datos de múltiples nubes Veritas Technologies, predijo que una compañía de EE.UU. será una de las primeras en ser multada bajo el GDPR.

“A pesar de la fecha límite inminente, solo el 31% de las empresas encuestadas por Veritas en todo el mundo creen que cumplen con GDPR”, indicó Bosin. “Las sanciones por incumplimiento son abruptas, y esta regulación afectará a todas y cada una de las empresas que traten con ciudadanos de la UE”.

La proliferación de la administración de metadatos continúa
No es solo el GDPR, sin duda. El diluvio de datos sigue creciendo, y los gobiernos de todo el mundo están imponiendo nuevas regulaciones como resultado. Dentro de las organizaciones, los equipos tienen más acceso a los datos que nunca. Todo esto se suma a la creciente importancia de la gobernanza de datos, junto con la calidad e integración de datos y la gestión de metadatos.

“La administración de metadatos y garantizar la privacidad de datos para regulaciones como GDPR se une a tendencias anteriores como IA e IoT, pero la tendencia inesperada del 2018 será la convergencia de tecnologías de administración de datos”, señaló Emily Washington, vicepresidente senior de gestión de productos del proveedor de datos y análisis de software Infogix. “Cada vez más, las empresas evalúan formas de optimizar su stack tecnológico general porque desean aprovechar big data y analítica para crear una mejor experiencia del cliente, lograr objetivos empresariales, obtener una ventaja competitiva y, en última instancia, convertirse en líderes del mercado”.

La extracción de conocimientos significativos y el aumento de la eficacia operativa requerirán herramientas flexibles e integradas que permitan a los usuarios ingerir, preparar, analizar y controlar rápidamente los datos, indica Williams. La administración de metadatos, en particular, será esencial para respaldar la gobernanza de datos, el cumplimiento normativo y las demandas de gestión de datos en entornos de datos empresariales.

La analítica predictiva ayuda a mejorar la calidad de los datos
A medida que los proyectos pasan a producción, la calidad de los datos es cada vez más preocupante. Esto es especialmente cierto, pues IoT abre aún más las compuertas. Infogix dice que en el 2018 las organizaciones recurrirán a los algoritmos de aprendizaje automático para mejorar la detección de anomalías en la calidad de los datos. Mediante el uso de patrones históricos para predecir los resultados futuros de la calidad de los datos, las empresas pueden detectar de forma dinámica anomalías que de otro modo podrían haber pasado inadvertidas, o que podrían haberse encontrado mucho más tarde solo mediante la intervención manual.

“A medida que se generan más datos a través de tecnologías como IoT, se vuelve cada vez más difícil de administrar y aprovechar”, comentó Washington. “Las herramientas de autoservicio integradas ofrecen una visión global del panorama de datos de una empresa para llegar a conclusiones significativas y oportunas. La transparencia total en los activos de datos de la empresa será crucial para iniciativas de analítica exitosas, abordando la gobernanza de datos y las necesidades de privacidad, monetizando activos de datos, y más temas a medida que avanzamos hacia el 2018″.

-Thor Olavsrud, CIO.com – CIOPeru.pe