Hacer un balance del ROI de la Inteligencia Artificial es desafiante, pero esencial. Los CIO y los observadores de la industria nos brindan sugerencias sobre cómo tener una idea clara de si los esfuerzos aplicados a la IA están dando frutos.

La Inteligencia Artificial (IA) está en transición, tanto como tecnología como en la forma en que se utiliza. Las empresas están sacando cada vez más pilotos de IA de los laboratorios de prueba para desplegarlos a escala, y algunas obtienen beneficios significativos como resultado. Independientemente de cualquier incertidumbre que rodee a la IA, ignorar su potencial plantea el riesgo de que las empresas que hacen negocios a la antigua se hundan.

Sin embargo, para muchas organizaciones, obtener valor de la IA puede ser difícil de alcanzar. Es posible que sus modelos no estén sintonizados. Es posible que sus conjuntos de datos de entrenamiento no sean lo suficientemente grandes. Los clientes pueden desconfiar. También existen preocupaciones sobre el sesgo, la ética y la transparencia. Empujar una iniciativa de IA a producción antes de que esté lista, o expandir una estrategia de IA más allá de una fase inicial antes de examinar adecuadamente sus resultados puede costarle dinero a una empresa o, lo que es peor, enviarla en una dirección perjudicial para el negocio.

Entonces, ¿cómo saber si un proyecto de IA transformará o saboteará su empresa? Sin números duros de ROI, las empresas deben ser creativas con formas de saberlo con certeza. A continuación, se muestra cómo los líderes de TI y los expertos de la industria miden el valor de la IA.

Tecnologías maduras frente a tecnologías innovadoras

Medir el valor comercial de cualquier iniciativa o tecnología no siempre es un cálculo lineal. Ciertamente, la IA no es una excepción, especialmente cuando se tienen en cuenta los grados de madurez y el potencial comercial. Las variables comprobadas y predictivas, como la extracción de datos, los ahorros en costos y capacitación, la inversión y la capacidad de facilitar nuevos usos, influyen en las decisiones cuando se trata de un ROI aceptable, pero es importante confiar en la tecnología, sin importar cuán nueva o establecida sea. básico.

En el Laboratorio de Propulsión a Chorro de la NASA (Jet Propulsion Laboratory, o JPL), por ejemplo, el factor clave para medir el ROI de un proyecto de IA es la madurez de la tecnología.

Algunos casos de uso de IA se encuentran en un alto nivel de madurez, explica Chris Mattmann, director de tecnología e innovación de NASA JPL. Tomemos, por ejemplo, la automatización de procesos comerciales.

“Las cosas aburridas que tienen todas las empresas, también las tenemos nosotros. Así que automatizamos muchas cosas, como el procesamiento de tickets, la búsqueda, la extracción de datos, la revisión de contratos y subcontratos mediante IA”.

JPL utiliza tecnologías disponibles comercialmente para hacer esto, incluidos DataRobot y Google Cloud. Para determinar si vale la pena invertir en una tecnología en particular, la organización analiza si ahorrará costos, tiempo y recursos, señala Mattmann. “Es maduro, por lo que deberías poder mostrar esto”.

Para tecnologías con un nivel medio de madurez, JPL analiza si la tecnología tiene la capacidad de habilitar nuevos casos de uso y a qué costo. “Por ejemplo, vamos a Marte y tenemos un conducto delgado para telecomunicaciones en el espacio profundo”, dice, y hoy en día hay suficiente ancho de banda para enviar unas 200 imágenes al día desde Marte a la Tierra.

“Esos brillantes rovers que enviamos a Marte tienen cerebros del tamaño de un guisante. Están ejecutando procesadores iPhone 1. Solo ponemos cosas en el espacio que están endurecidas por radiación, donde estamos seguros de que pueden soportar el entorno del espacio profundo. Los chips que sabemos que funcionan bien son los chips más antiguos, por lo que no hacemos IA o ML avanzados en los rovers”.

Pero el helicóptero Ingenuity, que originalmente fue pensado simplemente como una demostración de tecnología y no era fundamental para la misión, tenía un procesador Qualcomm Snapdragon a bordo, un chip de IA. “Eso nos demostró que era posible tener chips más nuevos y hacer más IA”, afirma.

Aquí, la IA habilitará nuevos casos de uso que actualmente no son posibles. Por ejemplo, en lugar de enviar 200 imágenes por día, el rover podría analizar las imágenes usando IA y enviar un millón de subtítulos de texto a la Tierra para describir, por ejemplo, que había un lecho de lago seco en una dirección particular. “Podríamos obtener más visibilidad con el texto que con las imágenes en la actualidad”, asevera Mattmann.

Finalmente, para las tecnologías de IA experimentales más vanguardistas, la medida del éxito es si permiten que se haga nueva ciencia y que se escriban y publiquen nuevos artículos.

“Hay un costo para entrenar y construir modelos”, afirma.

Empresas como Google y Microsoft tienen fácil acceso a volúmenes gigantes de datos de capacitación, pero en JPL, los conjuntos de datos son difíciles de adquirir y requieren expertos con nivel de doctorado para analizarlos y etiquetarlos.

“En la NASA, nuestros costos para entrenar un nuevo modelo de IA son de 10 a 20 veces mayores que los de la industria comercial”, apunta Mattmann.

Aquí, están surgiendo nuevas tecnologías que podrían permitir a la NASA crear modelos de IA con menos etiquetado manual. Por ejemplo, las redes generativas podrían usarse para crear datos de entrenamiento sintéticos, dice. Falsificaciones profundas, pero en beneficio de la ciencia.

La medición de la IA y sus esferas de influencia

Cuando no hay una forma directa de medir el impacto comercial de un proyecto de IA, las empresas extraerán datos de los indicadores clave de rendimiento (KPI) relacionados. Estas variables de proxy generalmente se relacionan con los objetivos comerciales y pueden incluir la satisfacción del cliente, el tiempo de comercialización o las tasas de retención de empleados.

Un ejemplo de ello es Atlantic Health System, donde los pacientes están en el centro de cada decisión, externa Sunil Dadlani, su vicepresidente senior y CIO. Entonces, en muchos sentidos, el retorno de la inversión en IA se mide al observar las mejoras en la atención al paciente. Estas métricas centradas en el paciente incluyen una duración de la estadía reducida, un tiempo de tratamiento más rápido, verificaciones de elegibilidad de seguro más rápidas y autorizaciones de seguro previas más rápidas, dice.

Otro proyecto implica el uso de IA para ayudar a los radiólogos a examinar las exploraciones. Un KPI es la frecuencia con la que se alerta a los radiólogos sobre hallazgos potencialmente anormales. “Hasta abril de 2022, el 99 % de nuestros radiólogos han informado que usan IA para analizar más de 12 000 estudios”, sostiene Dadlani, y agrega que esto ha activado casi 600 alertas. “Para que los médicos puedan abordar problemas potencialmente graves lo más rápido posible”.

En RSM, la quinta firma de contabilidad más grande de los EE. UU., las inversiones en IA siguen dos caminos estrechamente conectados: uno es la productividad y las herramientas de análisis que ayudan a los empleados a ser mejores en sus trabajos. La otra son esas herramientas iguales o similares pero utilizadas por los clientes, dice Richard Davis, socio del equipo de consultoría de gestión, negocios y transformación tecnológica de la empresa.

Por ejemplo, cuando se trabaja con clientes, se puede solicitar a RSM que obtenga datos de múltiples sistemas (contabilidad, ventas y marketing, recursos humanos, logística) y reúna todo en un solo panel. La IA puede ayudar a acelerar este proceso, dice Davis. Luego, la IA se puede usar para identificar cómo se mueve el trabajo a través de estos sistemas y dónde podrían estar los desafíos y las barreras subyacentes.

Entonces, ¿cómo sabe la empresa si su IA va en la dirección correcta?

“Número uno, podemos medir muy claramente el uso de las herramientas”, explica Davis, quien se negó a proporcionar detalles de la inversión de RSM en iniciativas de IA o ROI. “Lo que queremos ver con el tiempo es un compromiso entregado de manera más eficiente”.

Ese mayor compromiso, dice Davis, debería conducir a una mayor productividad. “Entonces, si antes nos tomaba una semana hacer algo, el objetivo podría ser reducirlo a un día”, dice.

Centrarse en los beneficios comerciales

Medir el éxito de la IA también puede ser subjetivo. Evaluar un proyecto de IA es un arte tanto como desarrollar la propia IA, dice Eugenio Zuccarelli, científico investigador de IA en el MIT que también trabaja como científico de datos en la industria minorista.

Aún así, es importante poder explicar el impacto que la IA está teniendo en los negocios, refiere Zuccarelli. “Los KPI no deben establecerse en torno al modelo en sí”, dice, “sino en las métricas comerciales y de personas, que deben ser los objetivos finales del proyecto”. De lo contrario, puede ser demasiado fácil elegir una métrica técnica que parece mostrar el éxito, pero que en realidad no se traduciría en un impacto efectivo en la empresa.

Zuccarelli, quien también ocupó puestos de ciencia de datos en BMW y Telstra, también advierte contra la medición del progreso de forma aislada. Por ejemplo, si un proyecto de IA se diseñó para mejorar algo que ya estaba mejorando por otras razones, entonces se necesita un grupo de control para determinar qué parte de la mejora se debe realmente a la IA.

Otros KPI valiosos para proyectos de IA podrían ser, por ejemplo, una reducción de alertas falsas o la eliminación automática de privilegios excesivos, declara Vladislav Shapiro, quien tiene años de experiencia en la industria de servicios financieros y es fundador de Costidity, un grupo asesor especializado en TI. gobierno y administración de la seguridad y la identidad.

En una implementación de seguridad impulsada por IA reciente en la que trabajó Shapiro, la tasa de alertas de falsos positivos se redujo tres veces, dice, y muchos procesos que antes eran manuales se automatizaron.

“Cuando le muestra estos números a la gerencia de nivel C, entienden que todo lo anterior reduce el riesgo de incumplimiento y aumenta la responsabilidad y la gobernanza”, dice.

Medir el éxito de forma incremental

La automatización que conduce a la reducción de costos es la forma más fácil y clara de mostrar los beneficios económicos de la IA, agrega Sanjay Srivastava, estratega digital jefe de Genpact, una firma global de servicios profesionales. Pero la IA también puede facilitar nuevas fuentes de ingresos o incluso transformar por completo el modelo comercial de una empresa.

Por ejemplo, con IA, un fabricante de motores de aviones vio que podía mejorar en la predicción de fallas y mejorar la logística para poder comenzar a ofrecer motores como servicio. “Para el consumidor final, es mejor comprar millas voladas que el propio motor”, dice. “Ese es un nuevo modelo de negocio. Cambia la forma en que opera una empresa porque la IA lo permite”.

Y el impacto en el negocio también es obvio de inmediato

Entonces, para justificar las inversiones en IA dentro de ese tiempo, este fabricante en particular necesitaba ese objetivo a largo plazo, pero lo tradujo en proyectos a corto plazo que se podían medir de otras maneras.

“En lugar de decir, ‘En diez años, cambiaremos la industria’, diga, ‘En el primer año, comenzaremos a ver qué partes necesitamos almacenar’”, sugiere. “Todavía no estás cambiando la industria a las millas aéreas voladas. Simplemente está diciendo: ‘Necesitaremos las piezas correctas en las cantidades correctas’. Es un proyecto de un año para optimizar sus sistemas de almacén y reducir la cantidad que está invirtiendo en inventario”.

Además de la optimización de la cadena de suministro, otras medidas de progreso a corto plazo pueden incluir la satisfacción del cliente.

“Si el avión está atascado en Mumbai durante cinco días esperando una pieza, por ejemplo, el cliente sentirá eso”, asevera.

Alineación con la visión estratégica

Luego está la realidad de que, a corto plazo, algunos proyectos de IA pueden dañar el resultado final, pero aún así ser importantes y transformadores a largo plazo. Por ejemplo, una empresa que implementa un chatbot de servicio al cliente puede eliminar tareas mundanas. “Pero los chatbots pueden ser dañinos porque algunas personas son buenas para aumentar las ventas y quieren interactuar con la gente”, advierte el analista de Gartner Whit Andrews. “Así que la organización podría no querer eso”.

Se remonta a qué tipo de empresa quieres ser, dice. “En algún momento, debe preguntarse si es el tipo de empresa que si una entrega se estropea, por ejemplo, los clientes pueden llamar para preguntar dónde está y usted interactúa con ellos y luego trata de venderles para obtener el producto una vez al mes.”

Si la organización está comprometida con la transformación impulsada por IA con un ROI medido para respaldarlo y tiene una visión de estar centrada en el cliente, entonces podría mirar más allá del impacto inmediato hacia el resultado final hacia otros indicadores potencialmente más significativos.

“Una organización más totalmente automatizada puede tener más éxito porque está aumentando su cuota de mercado”, concluye Andrews. “Sin embargo, puede desarrollar sus datos para que pueda comunicarse con alguien en un momento que sea más relevante para ellos. Si hay algo que pueda señalar y decir, la lógica simplemente nos dice que esto hará que nuestro cliente esté más feliz y nuestros trabajadores más exitosos, entonces persígalo”.

Maria Korolov, CIO.com