Microsoft ofrece una variedad de opciones para el análisis de datos en su nube que están destinadas a operar juntas como una pila de análisis completa. Aquí hay una descripción general de los servicios principales y dónde encaja cada uno.
Si usted no puede dar sentido a los datos de su negocio, está volando a ciegas. Los conocimientos ocultos en sus datos son esenciales para optimizar las operaciones comerciales, ajustar la experiencia del cliente y desarrollar nuevos productos, o nuevas líneas de negocio, como el mantenimiento predictivo. La analítica es el medio para descubrir esos conocimientos, y hacerlo bien requiere las herramientas adecuadas para ingerir y preparar datos, enriquecerlos y etiquetarlos, crear y compartir informes, y administrar y proteger sus datos y conocimientos. Y a medida que las empresas se enfrentan a cantidades cada vez mayores de datos, la nube se está convirtiendo rápidamente en el lugar lógico donde se realiza el trabajo de análisis.
Para muchas empresas, Microsoft Azure se ha convertido en un centro central de análisis. Con la interpretación más amplia posible del análisis de datos , Azure ofrece más de una docena de servicios , y eso es antes de incluir Power BI, con su análisis impulsado por IA y su nueva opción de datamart , o enfoques orientados a la gobernanza como Microsoft Purview. Dejando de lado las opciones más especializadas, como la ingesta de telemetría, el intercambio de datos de forma externa o la creación de modelos de aprendizaje automático para ofrecer análisis específicos, todavía hay suficientes servicios de análisis de Azure para que se pregunte cuál es el más adecuado para un trabajo determinado.
La verdad es que Microsoft tiene como objetivo proporcionar a los CIO una pila completa de servicios de análisis en Azure diseñados para trabajar juntos, en lugar de un enfoque fragmentado, afirma Amir Netz, CTO de Microsoft Analytics. Está dirigido a los jefes de TI que quieren ser directores de datos, no directores de integración, sugiere.
Aunque existe una superposición entre los diversos servicios, Netz explica que los servicios de análisis de Azure corresponden en términos generales a las capas que una organización crearía al crear un marco de arquitectura de análisis, “desde la creación del lago de datos y el almacenamiento de los datos, el procesamiento de los datos en el lago y la realización de la ingeniería de datos, la capacidad de construir almacenes de datos además de eso, para ejecutar algoritmos de aprendizaje automático, para hacer ciencia de datos, para servir los datos a los usuarios comerciales”, dice.
El reciente anuncio de Microsoft Intelligent Data Platform lo hace más obvio, aunque el análisis es solo una parte de esa nueva marca.
Aquí echamos un vistazo a los servicios de análisis esenciales de Microsoft Azure, para qué se utilizan y cómo se unen para crear una pila integral para su estrategia de análisis en la nube.
1. Servicios de análisis de Azure
Si está acostumbrado a usar SQL Server Analysis Services para inteligencia comercial, Analysis Services ofrece ese motor de análisis de nivel empresarial como un servicio en la nube que también puede conectar a Power BI. Pero las características de Power BI Premium ahora son más potentes que la funcionalidad de Azure Analysis Services, por lo que, aunque el servicio no va a desaparecer, Microsoft ofrecerá una herramienta de migración automatizada en la segunda mitad de este año para los clientes que deseen mover su modelos de datos en Power BI en su lugar.
2. Factoría de datos de Azure
Data Factory es un servicio para el movimiento de datos sin código y canalizaciones de transformación de datos para facilitar la integración de datos de varias fuentes en almacenes de datos: Piense en ETL (extracción, transformación, carga) y ELT (extracción, carga, transformación) como un servicio con conectores incorporados, pero con el énfasis en transformar y enriquecer los datos en lugar de simplemente moverlos al lugar correcto (aunque también puede usarlo para mover datos a la nube). Data Factory incluye funciones como ” código por ejemplo ” para ayudar a los usuarios a crear consultas, pero también tiene opciones para usar lenguajes como Python, Java y .NET con Git y compatibilidad con CI/CD, lo que lo hace particularmente útil para migrar SQL Server Integration Services. a Azur.
3. Explorador de datos de Azure
Data Explorer es una plataforma de análisis de big data que puede usar, como su nombre indica, para explorar datos usando KQL, también conocido como Kusto Query Language, por el nombre en clave del proyecto que puede o no ser una referencia a la exploración de su océano. de datos como si fueras Jacques Cousteau. Azure Data Explorer se usa para almacenar y consultar datos en servicios como Microsoft Purview, Microsoft Defender para Endpoint, Microsoft Sentinel y Log Analytics en Azure Monitor.
4. Análisis de Azure Data Lake
Los almacenes de datos están diseñados para preguntas que ya sabe que desea hacer sobre sus datos, una y otra vez. Los lagos de datos, por otro lado, le permiten almacenar datos estructurados y no estructurados para explorar con nuevas preguntas que no ha hecho antes. Azure Data Lake Analytics lo ayuda a extraer, limpiar y preparar datos de Azure Data Lake usando R, Python, .NET o U-SQL (que combina SQL y C#) para escribir consultas, con tecnologías clave de Azure Cognitive Services incluidas como funciones para procesar texto, voz e imágenes mediante el aprendizaje automático. Este es un servicio de trabajo de análisis sin servidor que puede manejar la transformación de datos a escala de petabytes, por lo que paga por el trabajo en lugar de tener que administrar la infraestructura.
5. Análisis de Azure Synapse
Si desea alejarse de la creación de su propio marco de análisis que varios equipos de su organización utilizarán para extraer datos de lagos de datos y crear almacenes de datos a los que los usuarios empresariales tienen que acceder y trabajar por separado, Synapse Analyticsle brinda las capacidades de los servicios de almacén de datos y lago de datos en la nube, pero le permite ejecutar su motor analítico preferido, ya sea SQL o Spark, sobre todos sus datos, estructurados y no estructurados, sin esperar los procesos ETL o preocuparse por dónde se almacenan o almacenan los datos. cómo conectarse a él. Los flujos de datos de Synapse Analytics funcionan con Azure Data Factory, y si usa Cosmos DB, las transacciones en su base de datos operativa se reflejarán y estarán disponibles para análisis segundos después de que se registren, para que pueda explorar big data y datos relacionales juntos. Si las preguntas son lo suficientemente útiles como para hacerlas una y otra vez, puede formalizarlas con técnicas de análisis tradicionales.
6. Ladrillos de datos de Azure
Si desea activar clústeres de Spark a pedido para transformar, limpiar y enriquecer sus datos, Azure Databricks es un servicio de análisis de big data basado en Apache Spark optimizado para Azure con adaptadores de datos para varios tipos de datos y un espacio de trabajo interactivo para crear flujos de datos de Spark . Puede trabajar en Python, Scala, R, Java o SQL, pero es particularmente adecuado para crear sistemas de IA y puede usar marcos de trabajo de ciencia de datos comunes como TensorFlow, PyTorch y sci-kit learn, además de integración con Azure Machine Learning. .
7. Datamarts en Power BI
Piense en los datamarts como bases de datos relacionales diseñadas para realizar análisis a nivel de unidad de negocio en lugar de a nivel de almacén de datos empresarial, con frecuencia impulsadas por usuarios comerciales que necesitan recopilar datos de múltiples fuentes e integrarlos juntos de una manera ligera. No tienen las habilidades ni el presupuesto para aprovisionar un almacén de datos relacional completo en Azure Portal, no necesitan la escala de petabytes o incluso terabytes de datos y actualmente usan tecnologías como listas de SharePoint o Excel para esto. , lo que lo convierte en un mercado desatendido con menos gobernanza de lo que los CIO podrían preferir.
Los datamarts en Power BI Premium son una opción sin código, de autoservicio y completamente administrada para hasta 100 GB de datos con cargas de trabajo optimizadas automáticamente para el rendimiento y una interfaz de usuario similar a Power Query (aunque los usuarios avanzados pueden escribir consultas DAX o SQL) . Datamart descubre relaciones entre tablas y genera el conjunto de datos, combinando el modelo semántico de Power BI con el modelo de base de datos relacional.
“No necesitas saber nada sobre cómo ser un DBA. No le preguntamos sobre el esquema de partición o cómo crear un índice”, explica Netz. “No necesita saber cómo escribir SQL e importar datos o realizar consultas. Todo es visual. Todo es fácil de usar. Todo está diseñado para el usuario que sabe cómo crear informes de Power BI”.
Bonus: Azure Stream Analytics y Azure Time Series Insights
Hay nuevas formas de usar el análisis para las que la nube es especialmente adecuada. El análisis tradicional se centra en los datos de las bases de datos, pero con los sensores y los dispositivos IoT, tiene datos transitorios y sensibles al tiempo que desea procesar y tomar medidas casi en tiempo real. Lo mismo se aplica a la secuencia de clics de las aplicaciones web y móviles. Análisis de flujo de Azurele permite observar los datos a medida que se transmiten y procesarlos de inmediato para descubrir si desea tomar medidas. Este procesamiento debe realizarse cerca de donde se ingieren los datos, por lo que usaría Event Hubs para recopilar los datos y pasarlos a Stream Analytics. También puede agregar datos para reducir la cantidad que se almacena y consultarlos más tarde para analizar tendencias o pronosticar la demanda para almacenar, por ejemplo, un promedio móvil del último segundo en lugar de registrar la temperatura cada milisegundo.
Si no desea crear su propia pila para ese tipo de análisis: Azure Time Series Insights es una plataforma integral que toma datos de dispositivos IoT para que los supervise, analice, visualice y actúe. Puede usarlo para detectar tendencias, resaltar anomalías y profundizar en las causas principales, y dado que Azure ofrece una pila completa de servicios de análisis, puede alimentar esos datos a otros servicios como Azure Databricks o usarlos para crear modelos con Azure Machine Learning. . Pero el mercado se está alejando de los servicios de un solo propósito y Time Series Insights está en desuso en favor de Azure Data Explorer.
Mary Branscombe, CIO.com
