Contenido Exclusivo

¡Ya disponible la revista digital “Los Mejores 100 CIO de México 2026”!

La edición especial de la revista digital CIO Ediworld...

¡Convocatoria cerrada! Los Mejores 100 CIO de México 2026

“El reconocimiento más importante del país para los líderes...

Los CIO deben medir y equilibrar la equidad en los modelos de IA: Forrester

Eliminar el sesgo en la Inteligencia Artificial (IA) es cada vez más un problema a medida que más empresas la utilizan en sus servicios.

El sesgo en el desarrollo de la Inteligencia Artificial ha sido una preocupación creciente a medida que aumenta su uso en todo el mundo. Pero a pesar de los esfuerzos para crear estándares de IA , en última instancia, depende de las organizaciones y los líderes de TI adoptar las mejores prácticas y garantizar la equidad en todo el ciclo de vida de la IA para evitar cualquier impacto grave en la regulación, la reputación y los ingresos, según un nuevo informe de Forrester Research.

Si bien es imposible eliminar al 100% el sesgo en la IA, los CIO deben determinar cuándo y dónde se debe usar la IA y cuáles podrían ser las ramificaciones de su uso, dijo el vicepresidente de Forrester, Brandon Purcell.

El sesgo se ha vuelto tan inherente a los modelos de IA que las empresas están buscando contratar a un nuevo ejecutivo de nivel C llamado director de ética encargado de navegar por las implicaciones éticas de la IA, dijo Purcell. Salesforce, Airbnb y Fidelity ya tienen oficiales de ética y se espera que más hagan lo mismo, afirmó a CIO.com.

Garantizar la equidad del modelo de IA

Los CIO pueden tomar varias medidas no solo para medir, sino también para equilibrar la equidad de los modelos de IA, dijo, a pesar de que faltan pautas regulatorias que dicten los detalles de la equidad.

El primer paso, dijo Purcell, es asegurarse de que el modelo en sí sea justo. Recomendó usar el criterio de equidad basado en la precisión [GG3] que optimiza la igualdad, un criterio de equidad basado en la representación que optimiza la equidad y un criterio de equidad basado en el individuo. Las empresas deben reunir múltiples criterios de equidad para verificar el impacto en las predicciones del modelo.

Mientras que el criterio de equidad basado en la precisión garantiza que ningún grupo en el conjunto de datos reciba un trato preferencial, el criterio de equidad basado en la equidad garantiza que el modelo ofrezca resultados equitativos en función de los conjuntos de datos.

“La paridad demográfica, por ejemplo, tiene como objetivo garantizar que un algoritmo seleccione proporciones iguales de diferentes grupos. Por ejemplo, un algoritmo de contratación optimizado para la paridad demográfica contrataría una proporción de candidatos masculinos y femeninos que sea representativa de la población general (probablemente 50:50 en este caso), independientemente de las posibles diferencias en las calificaciones”, afirmó Purcell.

Un ejemplo de sesgo en la IA fue el modelo Apple Card AI  que asignaba más crédito a los hombres, como se reveló a fines de 2019. El problema salió a la luz cuando el modelo le ofreció al cofundador de Apple, Steve Wozniak, un límite de crédito 10 veces mayor que el de su esposa a pesar de que comparten los mismos bienes.

Equilibrar la equidad en la IA

Es importante equilibrar la equidad en la IA a lo largo de su ciclo de vida para garantizar que la predicción de un modelo esté casi libre de sesgos.

Para hacerlo, las empresas deben solicitar comentarios de las partes interesadas para definir los requisitos comerciales, buscar datos de capacitación más representativos durante la comprensión de los datos, usar etiquetas más inclusivas durante la preparación de los datos, experimentar con la inferencia causal y la IA antagónica en la fase de modelado y tener en cuenta la interseccionalidad en la fase de evaluación, dijo Purcell. 

La “interseccionalidad” se refiere a cómo varios elementos de la identidad de una persona se combinan para agravar los impactos del sesgo o el privilegio.

“Las correlaciones espurias explican la mayoría de los sesgos dañinos”, dijo. â€œPara superar este problema, algunas empresas están comenzando a aplicar técnicas de inferencia causal, que identifican relaciones de causa y efecto entre variables y, por lo tanto, eliminan las correlaciones discriminatorias”. Otras empresas están experimentando con el aprendizaje antagónico, una técnica de aprendizaje automático que se optimiza para dos funciones de costos que son antagónicas.

“Al entrenar su plataforma VisualAI para el pago minorista, el proveedor de visión por computadora Everseen usó el aprendizaje antagónico para optimizar la detección de robos y disuadir al modelo de hacer predicciones basadas en atributos sensibles, como la raza y el género. Al evaluar la equidad de los sistemas de IA, centrarse únicamente en una clasificación como el género puede ocultar el sesgo que se produce a un nivel más granular para las personas que pertenecen a dos o más poblaciones históricamente privadas de derechos, como las mujeres no blancas”, señaló Purcell.

Dio el ejemplo del artículo seminal de Joy Buolamwini y Timnit Gebru sobre el sesgo algorítmico en el reconocimiento facial que encontró que la tasa de error para el sistema de clasificación de género de Face ++ era del 0.7 % para los hombres y del 21.3 % para las mujeres en todas las razas, y que la tasa de error saltó a 34.5% para mujeres de piel oscura.

Más formas de ajustar la equidad en la IA

Hay un par de otros métodos que las empresas podrían emplear para garantizar la equidad en la IA que incluyen la implementación de distintos modelos para diferentes grupos en la fase de implementación y el crowdsourcing con recompensas por sesgo, donde los usuarios que detectan sesgos son recompensados, en la fase de monitoreo.

“A veces es imposible adquirir suficientes datos de capacitación sobre grupos subrepresentados. Pase lo que pase, el modelo estará dominado por la tiranía de la mayoría. Otras veces, el sesgo sistémico está tan arraigado en los datos que ninguna cantidad de magia de datos podrá eliminarlo. En estos casos, puede ser necesario separar grupos en diferentes conjuntos de datos y crear modelos separados para cada grupo”, aseveró Purcell.

Anirban Ghoshal, CIO.com

Lo Más Reciente

IA agéntica en la banca: la seguridad y la confianza serán determinantes para su adopción

La inteligencia artificial agéntica está abriendo una nueva etapa...

Modernizar sistemas bancarios implica integrar datos, seguridad y atención

Existe una anécdota recurrente en el sector financiero mexicano...

Aumentan los ciberataques de IA contra el sector jurídico

Los despachos de abogados se han convertido en objetivos...

La IA eleva a más de 500 kW la demanda por rack

El crecimiento de los centros de datos ha intensificado...

Newsletter

Recibe lo último en noticias e información exclusiva.

José Luis Becerra Pozas
José Luis Becerra Pozashttps://iworld.com.mx
Es Editor de CIO Ediworld México. Contáctalo en jbecerra@ediworld.com.mx o en el twitter @CIOMexico.

IA agéntica en la banca: la seguridad y la confianza serán determinantes para su adopción

La inteligencia artificial agéntica está abriendo una nueva etapa en la transformación de los servicios financieros. A diferencia de las herramientas tradicionales que únicamente...

Modernizar sistemas bancarios implica integrar datos, seguridad y atención

Existe una anécdota recurrente en el sector financiero mexicano que refleja fielmente la percepción de los consumidores tradicionales: en muchas encuestas, las personas afirman...

Aumentan los ciberataques de IA contra el sector jurídico

Los despachos de abogados se han convertido en objetivos atractivos para los ciberdelincuentes debido al volumen y la sensibilidad de la información que administran:...