Los conocimientos de los datos y los algoritmos de aprendizaje automático pueden ser invaluables, pero los errores pueden costarle reputación, ingresos o incluso vidas. Estos análisis de alto perfil y errores de inteligencia artificial ilustran lo que puede salir mal.

En 2017, The Economist declaró que los datos, en lugar del petróleo, se habían convertido en el recurso más valioso del mundo. El estribillo se ha repetido desde entonces. Las organizaciones de todas las industrias han invertido y continúan invirtiendo fuertemente en datos y análisis. Pero como el petróleo, los datos y la analítica tienen su lado oscuro.

Según el informe State of the CIO 2022 de CIO, el 35 % de los líderes de TI dicen que los análisis de datos y negocios impulsarán la mayor inversión en TI en su organización este año. Y el 20 % de los líderes de TI dicen que el aprendizaje automático o la Inteligencia Artificial impulsarán la mayor inversión en TI. Los conocimientos adquiridos a partir de analítica y acciones impulsadas por algoritmos de aprendizaje automático pueden brindar a las organizaciones una ventaja competitiva, pero los errores pueden ser costosos en términos de reputación, ingresos o incluso vidas.

Comprender sus datos y lo que le dicen es importante, pero también es importante comprender sus herramientas, conocer sus datos y tener en cuenta los valores de su organización.

Aquí hay un puñado de analíticas de alto perfil y errores de Inteligencia Artificial de la última década para ilustrar lo que puede salir mal.

Los algoritmos de IA identifican todo menos COVID-19

Desde que comenzó la pandemia de COVID-19, numerosas organizaciones han buscado aplicar algoritmos de aprendizaje automático (ML) para ayudar a los hospitales a diagnosticar o clasificar a los pacientes más rápido. Pero según el Instituto Turing del Reino Unido, un centro nacional de ciencia de datos e inteligencia artificial, las herramientas predictivas hicieron poca o ninguna diferencia .

MIT Technology Review ha registrado una serie de fallas, la mayoría de las cuales se derivan de errores en la forma en que se entrenaron o probaron las herramientas. El uso de datos mal etiquetados o datos de fuentes desconocidas fue un culpable común.

Derek Driggs, investigador de aprendizaje automático de la Universidad de Cambridge, junto con sus colegas, publicó un artículo en Nature Machine Intelligence que exploró el uso de modelos de aprendizaje profundo para diagnosticar el virus. El documento determinó que la técnica no es apta para uso clínico. Por ejemplo, el grupo de Driggs descubrió que su propio modelo tenía fallas porque estaba entrenado en un conjunto de datos que incluía escaneos de pacientes que estaban acostados mientras se escaneaban y pacientes que estaban de pie. Los pacientes que estaban acostados tenían muchas más probabilidades de estar gravemente enfermos, por lo que el algoritmo aprendió a identificar el riesgo de COVID en función de la posición de la persona en el escaneo.

Un ejemplo similar incluye un algoritmo entrenado con un conjunto de datos que incluía escaneos de los tórax de niños sanos. El algoritmo aprendió a identificar a los niños, no a los pacientes de alto riesgo.

Zillow anotó millones de dólares, recortó la fuerza laboral debido al desastre algorítmico de compra de viviendas

En noviembre de 2021, el mercado de bienes raíces en línea Zillow dijo a los accionistas que cerraría sus operaciones de Zillow Offers y recortaría el 25% de la fuerza laboral de la compañía, alrededor de 2000 empleados, durante los próximos trimestres. Los problemas de la unidad de inversión de viviendas fueron el resultado de la tasa de error en el algoritmo de aprendizaje automático que utilizó para predecir los precios de las viviendas.

Zillow Offers era un programa a través del cual la compañía hacía ofertas en efectivo sobre propiedades basadas en un “Zestimate” de valores de viviendas derivado de un algoritmo de aprendizaje automático. La idea era renovar las propiedades y voltearlas rápidamente. Pero un portavoz de Zillow le dijo a CNN que el algoritmo tenía una tasa de error promedio del 1.9 %, y la tasa de error podría ser mucho mayor, hasta un 6.9 %, para viviendas fuera del mercado.

CNN informó que Zillow compró 27,000 viviendas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero vendió solo 17,000 hasta fines de septiembre de 2021. Los eventos del cisne negro como la pandemia de COVID-19 y la escasez de mano de obra para la renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.

Zillow dijo que el algoritmo lo había llevado a comprar viviendas sin querer a precios más altos que sus estimaciones actuales de precios de venta futuros, lo que resultó en una reducción del inventario de 304 millones de dólares en el tercer trimestre de 2021.

En una conferencia telefónica con inversionistas luego del anuncio, el cofundador y director ejecutivo de Zillow, Rich Barton, dijo que podría ser posible modificar el algoritmo, pero que en última instancia era demasiado arriesgado.

Reino Unido perdió miles de casos de COVID al exceder el límite de datos de la hoja de cálculo

En octubre de 2020, Public Health England (PHE), el organismo gubernamental del Reino Unido responsable de contar las nuevas infecciones por COVID-19, reveló que casi 16,000 casos de coronavirus no se informaron entre el 25 de septiembre y el 2 de octubre. ¿El culpable? Limitaciones de datos en Microsoft Excel.

PHE utiliza un proceso automatizado para transferir resultados de laboratorio positivos de COVID-19 como un archivo CSV a plantillas de Excel utilizadas por los paneles de informes y para el seguimiento de contactos. Lamentablemente, las hojas de cálculo de Excel pueden tener un máximo de 1,048,576 filas y 16,384 columnas por hoja de trabajo. Además, PHE enumeraba los casos en columnas en lugar de filas. Cuando los casos excedieron el límite de 16,384 columnas, Excel cortó los 15,841 registros en la parte inferior.

La “falla” no impidió que las personas que se hicieron la prueba recibieran sus resultados, pero obstaculizó los esfuerzos de rastreo de contactos, lo que dificultó que el Servicio Nacional de Salud (NHS) del Reino Unido identifique y notifique a las personas que estuvieron en contacto cercano con pacientes infectados.  En una declaración del 4 de octubre, Michael Brodie, director ejecutivo interino de PHE, recuerda que NHS Test and Trace y PHE resolvieron el problema rápidamente y transfirieron todos los casos pendientes de inmediato al sistema de rastreo de contactos de NHS Test and Trace.

PHE implementó una “mitigación rápida” que divide archivos grandes y realizó una revisión completa de todos los sistemas para evitar incidentes similares en el futuro.

El algoritmo de atención médica no pudo marcar a los pacientes afroamericanos

En 2019, un estudio publicado en Science reveló que era mucho menos probable que un algoritmo de predicción de atención médica, utilizado por hospitales y compañías de seguros en todo EE.

Los programas de gestión de la atención de alto riesgo proporcionan personal de enfermería capacitado y supervisión de atención primaria a los pacientes con enfermedades crónicas en un esfuerzo por prevenir complicaciones graves. Pero era mucho más probable que el algoritmo recomendara pacientes blancos para estos programas que pacientes negros.

El estudio encontró que el algoritmo usaba el gasto en atención médica como un indicador para determinar la necesidad de atención médica de un individuo. Pero según Scientific American, los costos de atención médica de los pacientes negros más enfermos estaban a la par con los costos de las personas blancas más sanas, lo que significaba que recibían puntajes de riesgo más bajos incluso cuando su necesidad era mayor.

Los investigadores del estudio sugirieron que algunos factores pueden haber contribuido. Primero, es más probable que las personas de color tengan ingresos más bajos, lo que, incluso cuando están asegurados, puede hacer que tengan menos probabilidades de acceder a la atención médica. El sesgo implícito también puede hacer que las personas de color reciban una atención de menor calidad.

Si bien el estudio no nombró al algoritmo ni al desarrollador, los investigadores le dijeron a Scientific American que estaban trabajando con el desarrollador para abordar la situación.

Dataset entrenó a un chatbot de Microsoft para lanzar tuits racistas

En marzo de 2016, Microsoft descubrió que el uso de interacciones de Twitter como datos de entrenamiento para algoritmos de aprendizaje automático puede tener resultados desalentadores.

Microsoft lanzó Tay, un chatbot de IA, en la plataforma de redes sociales. La compañía lo describió como un experimento de “comprensión conversacional”. La idea era que el chatbot asumiera la personalidad de una adolescente e interactuara con las personas a través de Twitter utilizando una combinación de aprendizaje automático y procesamiento de lenguaje natural. Microsoft lo sembró con datos públicos anónimos y algún material escrito previamente por comediantes, y luego lo soltó para aprender y evolucionar a partir de sus interacciones en la red social.

En 16 horas, el chatbot publicó más de 95,000 tuits, y esos tuits rápidamente se volvieron abiertamente racistas, misóginos y antisemitas. Microsoft suspendió rápidamente el servicio para realizar ajustes y finalmente lo desconectó.

“Lamentamos profundamente los tuits ofensivos e hirientes no intencionados de Tay, que no representan quiénes somos o qué representamos, ni cómo diseñamos a Tay”, explicó Peter Lee, vicepresidente corporativo de Microsoft Research & Incubations (entonces vicepresidente corporativo de Microsoft Healthcare) en una publicación en el blog oficial de Microsoft luego del incidente.

Lee señaló que el predecesor de Tay, Xiaoice, lanzado por Microsoft en China en 2014, había tenido conversaciones exitosas con más de 40 millones de personas en los dos años anteriores al lanzamiento de Tay. Lo que Microsoft no tuvo en cuenta fue que un grupo de usuarios de Twitter inmediatamente comenzaría a twittear comentarios racistas y misóginos a Tay. El bot rápidamente aprendió de ese material y lo incorporó a sus propios tweets.

“Aunque nos habíamos preparado para muchos tipos de abusos del sistema, habíamos realizado una supervisión crítica para este ataque específico. Como resultado, Tay tuiteó palabras e imágenes tremendamente inapropiadas y censurables”, escribió Lee.

La herramienta de reclutamiento habilitada por Amazon AI solo recomienda hombres

Al igual que muchas grandes empresas, Amazon está ávida de herramientas que puedan ayudar a su función de recursos humanos a seleccionar aplicaciones para los mejores candidatos. En 2014, Amazon comenzó a trabajar en un software de reclutamiento impulsado por Inteligencia Artificial para hacer precisamente eso. Sólo había un problema: el sistema prefería ampliamente a los candidatos masculinos. En 2018, Reuters dio la noticia de que Amazon había descartado el proyecto .

El sistema de Amazon otorgó a los candidatos calificaciones de estrellas del 1 al 5. Pero los modelos de aprendizaje automático en el corazón del sistema se entrenaron con currículos de 10 años enviados a Amazon, la mayoría de ellos de hombres. Como resultado de esos datos de capacitación, el sistema comenzó a penalizar las frases en el currículum que incluían la palabra “mujeres” e incluso rebajó la calificación de las candidatas de universidades exclusivamente para mujeres.

En ese momento, Amazon señaló que los reclutadores de Amazon nunca usaban la herramienta para evaluar candidatos.

La empresa trató de editar la herramienta para que fuera neutral, pero finalmente decidió que no podía garantizar que no aprendería alguna otra forma discriminatoria de clasificar candidatos y finalizó el proyecto.

Target Analytics violó la privacidad

En 2012, un proyecto de analítica del titán minorista Target mostró cuánto pueden aprender las empresas sobre los clientes a partir de sus datos. Según el New York Times, en 2002 el departamento de marketing de Target comenzó a preguntarse cómo podía determinar si las clientas estaban embarazadas. Esa línea de investigación condujo a un proyecto de analítica predictiva que llevaría al minorista a revelar inadvertidamente a la familia de una adolescente que estaba embarazada. Eso, a su vez, daría lugar a todo tipo de artículos y blogs de marketing que citan el incidente como parte de un consejo para evitar el “factor espeluznante”.

El departamento de marketing de Target quería identificar a las personas embarazadas porque hay ciertos períodos en la vida, el embarazo entre ellos, en los que es más probable que las personas cambien radicalmente sus hábitos de compra. Si Target pudiera llegar a los clientes en ese período, podría, por ejemplo, cultivar nuevos comportamientos en esos clientes, haciendo que recurran a Target para comprar comestibles, ropa u otros bienes.

Al igual que todos los demás grandes minoristas, Target había estado recopilando datos sobre sus clientes a través de códigos de compradores, tarjetas de crédito, encuestas y más. Combinó esos datos con datos demográficos y datos de terceros que compró. Procesar todos esos datos permitió al equipo de análisis de Target determinar que había alrededor de 25 productos vendidos por Target que podían analizarse juntos para generar una puntuación de “predicción de embarazo”. Luego, el departamento de marketing podría dirigirse a los clientes de alto puntaje con cupones y mensajes de marketing.

Investigaciones adicionales revelarían que estudiar el estado reproductivo de los clientes podría resultar espeluznante para algunos de esos clientes. Según el Times, la compañía no se retractó de su marketing dirigido, pero comenzó a mezclar anuncios de cosas que sabían que las mujeres embarazadas no comprarían, incluidos anuncios de cortadoras de césped junto a anuncios de pañales, para hacer la mezcla de anuncios. sentirse al azar para el cliente.

Thor Olavsrud, CIO.com