Los factores inherentes a la Inteligencia Artificial (IA) y su implementación pueden tener ramificaciones nefastas para su empresa si la ética y la gobernanza no se integran en su estrategia de IA.

Dependiendo de las películas de Terminator que veas, la malvada Inteligencia Artificial Skynet ya se ha apoderado de la humanidad o está a punto de hacerlo. Pero no son sólo los escritores de ciencia ficción los que están preocupados por los peligros de la IA descontrolada.

En una encuesta de 2019 realizada por Emerj, una empresa de investigación y asesoramiento de IA, el 14 % de los investigadores de IA afirmaron que ésta era una “amenaza existencial” para la humanidad. Incluso si el apocalipsis de la IA no llega a suceder, defraudar la ética de la IA plantea grandes riesgos para la sociedad y para las empresas que implementan esos sistemas.

Para estos riesgos son fundamentales los factores inherentes a la tecnología, por ejemplo, cómo un sistema de IA en particular llega a una conclusión determinada, conocida como su “explicabilidad”, y aquellos endémicos del uso de IA de una empresa, incluida la dependencia de conjuntos de datos sesgados o la implementación IA sin una gobernanza adecuada.

Y si bien la IA puede brindar a las empresas una ventaja competitiva de diversas formas, desde descubrir oportunidades comerciales pasadas por alto hasta optimizar procesos costosos, las desventajas de la IA si no se presta la atención adecuada a la gobernanza , la ética y las regulaciones en evolución de la IA pueden ser catastróficas.

Los siguientes problemas de implementación del mundo real destacan los riesgos importantes que todo líder de TI debe tener en cuenta al elaborar la estrategia de implementación de IA de su empresa.

Desastres de relaciones públicas

El mes pasado, un documento de Facebook filtrado obtenido por Motherboard mostró que Facebook no tiene idea de qué está pasando con los datos de sus usuarios.

“No tenemos un nivel adecuado de control y explicabilidad sobre cómo nuestros sistemas usan los datos”, señala el documento, que se atribuye a los ingenieros de privacidad de Facebook.

Ahora, la empresa se enfrenta a un “tsunami de regulaciones entrantes”, dice el documento, que no puede abordar sin inversiones de varios años en infraestructura. En particular, la empresa tiene poca confianza en su capacidad para abordar problemas fundamentales con el aprendizaje automático y las aplicaciones de Inteligencia Artificial, según el documento. “Esta es un área nueva para la regulación y es muy probable que veamos nuevos requisitos durante varios años por venir. Tenemos muy poca confianza en que nuestras soluciones sean suficientes”.

Este incidente, que proporciona una idea de lo que puede salir mal para cualquier empresa que haya implementado IA sin un gobierno de datos adecuado , es solo el último de una serie de empresas de alto perfil que han visto sus desastres de relaciones públicas relacionados con IA en todas las portadas .

En 2014, Amazon creó un software de contratación impulsado por IA que prefería abrumadoramente a los candidatos masculinos.

En 2015, la aplicación Fotos de Google etiquetó las imágenes de personas negras como “gorilas”. Sin aprender de ese error, Facebook tuvo que disculparse por un error similar el otoño pasado, cuando se les preguntó a sus usuarios si querían “seguir viendo videos sobre primates” después de ver un video con hombres negros. 

El chatbot Tay de Microsoft, lanzado en Twitter en 2016, rápidamente comenzó a emitir mensajes racistas, misóginos y antisemitas.

La mala publicidad es uno de los mayores temores que tienen las empresas cuando se trata de proyectos de Inteligencia Artificial, dice Ken Adler, presidente de la práctica de tecnología y abastecimiento de la firma de abogados Loeb & Loeb.

“Están preocupados por implementar una solución que, sin saberlo, tiene un sesgo incorporado”, dice. “Podría ser cualquier cosa: racial, étnica, de género”.

Impacto social negativo

Los sistemas de IA sesgados ya están causando daño. Un algoritmo de crédito que discrimine a las mujeres o una herramienta de recomendación de recursos humanos que no sugiera cursos de liderazgo a algunos empleados pondrá a esos individuos en desventaja.

En algunos casos, esas recomendaciones pueden ser, literalmente, una cuestión de vida o muerte. Ese fue el caso en un hospital comunitario con el que Carm Taglienti, una distinguida ingeniera de Insight, trabajó una vez.

Los pacientes que acuden a la sala de emergencias de un hospital a menudo tienen problemas más allá de los que específicamente están allí, dice Taglienti. “Si vienes al hospital quejándote de dolores en el pecho, también puede haber un problema de sangre u otro problema que contribuya”, explica.

El equipo de ciencia de datos de este hospital en particular había construido un sistema para identificar tales comorbilidades. El trabajo fue crucial dado que si un paciente ingresa al hospital y tiene un segundo problema que es potencialmente fatal pero el hospital no lo detecta, entonces el paciente podría ser enviado a casa y terminar muriendo.

Sin embargo, la pregunta era, ¿en qué momento deberían los médicos actuar según la recomendación del sistema de IA, dadas las consideraciones de salud y los límites de los recursos del hospital? Si una correlación descubierta por el algoritmo es débil, los médicos podrían someter a los pacientes a pruebas innecesarias que serían una pérdida de tiempo y dinero para el hospital. Pero si no se realizan las pruebas y surge un problema que podría resultar mortal, surgirán mayores interrogantes sobre el valor del servicio que el hospital brinda a su comunidad, especialmente si sus algoritmos sugirieron la posibilidad, aunque sea escasa.

Ahí es donde entra la ética, afirma. “Si estoy tratando de hacer el enfoque utilitario, del mayor bien para la mayoría de las personas, podría tratarte lo necesites o no”.

Pero esa no es una solución práctica cuando los recursos son limitados.

Otra opción es recopilar mejores datos de entrenamiento para mejorar los algoritmos y que las recomendaciones sean más precisas. El hospital hizo esto invirtiendo más en la recopilación de datos, dice Taglieti.

Pero el hospital también encontró formas de reequilibrar la ecuación en torno a los recursos, agrega. “Si la ciencia de datos le dice que le faltan comorbilidades, ¿siempre tiene que ser un médico el que atiende a los pacientes? ¿Podemos usar enfermeras practicantes en su lugar? ¿Podemos automatizar?”

El hospital también creó un mecanismo de programación de pacientes, para que las personas que no tenían proveedores de atención primaria pudieran visitar a un médico de la sala de emergencias en momentos en que la sala de emergencias estaba menos ocupada, como en medio de un día laborable.

“Pudieron concentrarse en el resultado final y aun así usar la recomendación de IA y mejorar los resultados”, dice.

Sistemas que no pasan el control regulatorio

Sanjay Srivastava, estratega digital jefe de Genpact, trabajó con una gran empresa global de servicios financieros que buscaba utilizar IA para mejorar sus decisiones de préstamo.

Se supone que un banco no debe usar ciertos criterios, como la edad o el género, al tomar algunas decisiones, pero simplemente sacar puntos de datos de edad o género de los datos de entrenamiento de IA no es suficiente, dice Srivastava, porque los datos pueden contener otra información. que se correlaciona con la edad o el género.

“El conjunto de datos de entrenamiento que usaron tenía muchas correlaciones”, dice. “Eso los expuso a una huella de riesgo mayor de lo que habían planeado”.

El banco terminó teniendo que volver al conjunto de datos de entrenamiento y rastrear y eliminar todos esos otros puntos de datos, un proceso que los retrasó varios meses.

La lección aquí fue asegurarse de que el equipo que construye el sistema no sea sólo científico de datos, sino que también incluya un conjunto diverso de expertos en la materia. “Nunca haga un proyecto de IA solo con científicos de datos”, afirma.

El cuidado de la salud es otra industria en la que el incumplimiento de los requisitos reglamentarios puede hacer que un proyecto completo vuelva a la puerta de inicio. Eso es lo que le sucedió a una compañía farmacéutica global que trabajaba en una vacuna contra el COVID.

“Muchas compañías farmacéuticas utilizaron IA para encontrar soluciones más rápido”, dice Mario Schlener, líder de riesgos de servicios financieros globales de Ernst & Young. Una empresa hizo un buen progreso en la construcción de algoritmos, señala. “Pero debido a la falta de gobernanza en torno a su proceso de desarrollo de algoritmos, el desarrollo quedó obsoleto”.

Y debido a que la empresa no pudo explicar a los reguladores cómo funcionaban los algoritmos, terminaron perdiendo nueve meses de trabajo durante el pico de la pandemia.

Multas RGPD

El Reglamento General de Protección de Datos de la UE es una de las leyes de protección de datos más estrictas del mundo, con multas de hasta 20 millones de euros o el 4% de los ingresos mundiales, lo que sea mayor. Desde que la ley entró en vigencia en 2018, se han emitido más de 1,100 multas y los totales siguen aumentando.

El RGPD y regulaciones similares que surgen en todo el mundo restringen la forma en que las empresas pueden usar o compartir datos privados confidenciales. Debido a que los sistemas de IA requieren grandes cantidades de datos para la capacitación, sin prácticas de gobierno adecuadas, es fácil infringir las leyes de privacidad de datos al implementar la IA.

“Desafortunadamente, parece que muchas organizaciones tienen una actitud de ‘lo agregaremos cuando lo necesitemos’ hacia el gobierno de la IA”, dice Mike Loukides, vicepresidente de contenido tecnológico emergente en O’Reilly Media. “Esperar hasta que lo necesites es una buena manera de garantizar que llegas demasiado tarde”.

La Unión Europea también está trabajando en una Ley de IA , que crearía un nuevo conjunto de regulaciones específicamente en torno a la inteligencia artificial. La Ley de IA se propuso por primera vez en la primavera de 2021 y es posible que se apruebe a partir de 2023. El incumplimiento dará lugar a una serie de sanciones, incluidas sanciones financieras de hasta el 6 % de los ingresos globales, incluso más que el RGPD.

Sistemas irreparables

En abril, la policía detuvo un automóvil autónomo operado por Cruise, una compañía de automóviles autónomos respaldada por General Motors, porque conducía sin las luces delanteras encendidas. El video de un oficial de policía confundido acercándose al automóvil y descubriendo que no tenía conductor rápidamente se volvió viral.

Posteriormente, el automóvil se alejó y luego se detuvo nuevamente, lo que permitió que la policía lo alcanzara. Descubrir por qué el automóvil hizo esto puede ser complicado.

“Necesitamos entender cómo se toman las decisiones en los autos sin conductor”, asevera Dan Simion, vicepresidente de IA y análisis de Capgemini. “El fabricante de automóviles debe ser transparente y explicar lo que sucedió. La transparencia y la explicabilidad son componentes de la IA ética”.

Con demasiada frecuencia, los sistemas de IA son “cajas negras” inescrutables , que brindan poca información sobre cómo sacar conclusiones. Como tal, encontrar la fuente de un problema puede ser muy difícil, lo que arroja dudas sobre si el problema se puede solucionar.

“Eventualmente, creo que van a llegar regulaciones, especialmente cuando hablamos de autos sin conductor, pero también para decisiones autónomas en otras industrias”, dice Simion.

Pero las empresas no deberían esperar para incorporar la explicabilidad en sus sistemas de IA, dice. A la larga, es más fácil y económico construir una explicabilidad desde cero, en lugar de intentar agregarla al final. Además, hay razones comerciales inmediatas y prácticas para construir una IA explicable, dice Simion.

Más allá de los beneficios de relaciones públicas de poder explicar por qué el sistema de IA hizo lo que hizo, las empresas que adopten la explicabilidad también podrán solucionar problemas y agilizar procesos con mayor facilidad.

¿El problema estaba en el modelo o en su implementación? ¿Fue en la elección de algoritmos o una deficiencia en el conjunto de datos de entrenamiento?

Las empresas que utilizan herramientas de terceros para algunos o todos sus sistemas de IA también deben trabajar con sus proveedores para exigir la explicabilidad de sus productos.

Riesgos de sentimiento de los empleados

Cuando las empresas construyen sistemas de Inteligencia Artificial que violan la privacidad de los usuarios, que están sesgados o que dañan a la sociedad, cambia la forma en que los ven sus propios empleados.

Los empleados quieren trabajar en empresas que compartan sus valores, dice Steve Mills, director de ética de IA de Boston Consulting Group. “Un gran número de empleados dejan sus trabajos por preocupaciones éticas”, dice. “Si desea atraer talento técnico, debe preocuparse por cómo abordará estos problemas”.

Según una encuesta publicada por Gartner a principios de este año, las actitudes de los empleados hacia el trabajo han cambiado desde el comienzo de la pandemia. Casi dos tercios han repensado el lugar que debe tener el trabajo en su vida, y más de la mitad dijo que la pandemia les ha hecho cuestionar el propósito de su trabajo diario y les ha hecho querer contribuir más a la sociedad.

Y, el otoño pasado, un estudio de Blue Beyond Consulting y Future Workplace demostró la importancia de los valores. Según la encuesta, el 52% de los trabajadores renunciaría a su trabajo, y sólo 1 de cada 4 aceptaría uno, si los valores de la empresa no fueran consistentes con sus valores. Además, el 76% dijo que espera que su empleador sea una fuerza para el bien en la sociedad.

Aunque las empresas pueden iniciar programas de ética de la IA por razones reglamentarias o para evitar mala publicidad, a medida que estos programas maduran, las motivaciones cambian.

“Lo que estamos empezando a ver es que tal vez no comienzan de esta manera, pero terminan siendo una cuestión de propósito y valores”, dice Mills. “Se convierte en un tema de responsabilidad social. Un valor fundamental de la empresa.”

Maria Korolov, CIO.com