De acuerdo con Gartner, existen cuatro amenazas críticas e impredecibles en las que los atacantes tienen una ventaja significativa para explotar con éxito las vulnerabilidades de las organizaciones objetivo. Estas incluyen las falsificaciones profundas (deepfakes), la vulneración de aplicaciones de IA, la inyección de código y las vulnerabilidades en las cadenas de suministro de software. 

El Gartner ThreatScape (véase la figura 1) clasifica las amenazas en seis áreas distintas a lo largo de dos ejes:

• Diferenciar las amenazas en función de la calidad y el volumen de la información disponible (“señal de amenaza”).
• Evaluar las amenazas en función de la capacidad organizativa para gestionarlas y de si los agentes que las provocan tienen alguna ventaja.

“La introducción de iniciativas de seguridad por parte de empresas de IA de vanguardia genera un ruido considerable en un panorama de amenazas ya de por sí complejo», afirmó John Watts, vicepresidente y analista de Gartner. “Los líderes en ciberseguridad deben ser capaces de identificar la señal de amenaza entre todo ese ruido para poder responder a los cambios en dicho panorama”.

En la Cumbre de Seguridad y Gestión de Riesgos de Gartner, celebrada del 1 al 3 de junio, Watts explicó cómo los CISO pueden abordar estas cuatro amenazas críticas. 

Compromiso en la aplicación de IA

La vulneración de aplicaciones de IA se considera una amenaza crítica, ya que los atacantes se dirigen al creciente número de herramientas de IA empresariales, tanto internas como públicas, listas para su uso en producción. La superficie de ataque se ha ampliado para incluir agentes personalizados, integraciones de terceros y aplicaciones exclusivas para empleados, exponiendo con frecuencia datos o credenciales confidenciales cuando los controles son débiles.

“Los equipos de ciberseguridad deben ampliar sus programas más allá de las protecciones de software tradicionales, mapeando las nuevas superficies de ataque introducidas por los modelos GenAI o las herramientas basadas en agentes”, afirmó Watts. “El uso del marco TRiSM (Confianza y Riesgo en la Gestión de la Seguridad) de Gartner permite a los equipos de ciberseguridad saber dónde integrar las medidas de mitigación de amenazas específicas de la IA directamente en el proceso de desarrollo de aplicaciones de IA”.

Garantizar la seguridad de una aplicación de IA no siempre implica empezar de cero. Existen numerosas startups de seguridad de IA que ofrecen capacidades más amplias y profundas a medida que las organizaciones maduran y requieren mayor seguridad en el uso de la IA. Para abordar esta amenaza, los CISO deben aplicar las mejores prácticas de ciclo de vida de desarrollo seguro y modelado de amenazas a las aplicaciones de IA. Asimismo, deben reforzar la seguridad de los datos mejorando su clasificación, adoptando el control de acceso basado en el propósito (PBAC) e implementando la monitorización en tiempo de ejecución.

Suplantación de identidad mediante deepfakes

La llegada de la IA general ha incrementado drásticamente el volumen, la fidelidad y la accesibilidad de la creación de deepfakes en voz, video e imágenes, tanto como grabaciones pregrabadas como generadas en tiempo real. Esto ha ampliado las oportunidades para que los atacantes suplanten identidades en diversos frentes de ataque. Los deepfakes pueden utilizarse para atacar procesos de autenticación biométrica, combinarse con ingeniería social en ataques en tiempo real contra empleados y manipular procesos de contratación.

“El uso de deepfakes por parte de los atacantes sigue avanzando y ahora es habitual para dificultar la detección de fraudes y estafas de phishing”, afirmó Watts. “No existe una única medida de ciberseguridad que garantice la protección. En cambio, las organizaciones deberían combinar el fortalecimiento de los procesos empresariales, la mejora de la concienciación y la implementación de las tecnologías de detección de deepfakes disponibles siempre que sea posible”.

En consecuencia, los equipos de ciberseguridad deben ir más allá de la detección de deepfakes y reforzar los controles para proteger la integridad de las comunicaciones en tiempo real, así como los procesos de autenticación y verificación biométrica, teniendo en cuenta lo siguiente:

• Desarrolle una estrategia de mitigación sólida reconociendo que la detección de deepfakes por sí sola no es suficiente para detectar y prevenir los ataques de suplantación de identidad mediante deepfakes. En su lugar, céntrese en capas de controles que variarán según el caso de uso.
• Proteja la verificación de identidad biométrica centrándose en la detección de ataques de presentación e inyección, además de las señales contextuales. 
• Garantizar la seguridad de las reuniones en línea mediante la implementación de políticas de acceso condicional para aplicar una autenticación sólida a los participantes de la llamada y el análisis de los metadatos de la misma.

Amenazas en la cadena de suministro de software

“La evolución de las soluciones de IA general solo acelerará la tendencia de los ataques a la cadena de suministro de software mediante vulnerabilidades en el software de código abierto”, afirmó Watts. “Las organizaciones deben trabajar para crear registros de componentes de confianza, reforzar sus procesos de CI/CD y desarrollar sólidas capacidades operativas de detección y respuesta ante anomalías”.

Los equipos de ciberseguridad deben crear inventarios exhaustivos de los activos de software e integrar controles rigurosos en cada etapa del desarrollo. Estas medidas ayudan a protegerse contra las amenazas emergentes que afectan tanto a las aplicaciones tradicionales como a los sistemas modernos basados ​​en IA. Teniendo esto en cuenta, los CISO deberían:

• Exija SBOM (y AIBOM) a todos los proveedores; evalúe el riesgo de cada componente utilizando herramientas con información actualizada sobre amenazas antes de la implementación.
• Utilice repositorios seleccionados para código de terceros, imágenes de contenedores y modelos de IA; aplique protección de ramas en los repositorios de código.
• Firmar los artefactos durante las compilaciones; implementar controles de acceso con privilegios mínimos en los sistemas de compilación; supervisar continuamente la actividad en tiempo de ejecución mediante herramientas basadas en agentes.

Inyección inmediata

La inyección de mensajes es una amenaza de ciberseguridad dirigida a los sistemas de IA, especialmente a aquellos que utilizan modelos de lenguaje complejos (LLM). Los atacantes manipulan los mensajes para alterar el comportamiento del modelo, lo que puede provocar la filtración de información confidencial, la realización de acciones no autorizadas o la elusión de controles. A medida que las organizaciones adoptan cada vez más la IA de generación (GenAI), el riesgo de inyección de mensajes aumenta, convirtiéndose en un problema crítico para los equipos de ciberseguridad. 

Para contrarrestar eficazmente las amenazas de inyección instantánea, los equipos de ciberseguridad deben implementar una estrategia de mitigación por capas. Esto implica realizar pruebas de seguridad de IA para identificar proactivamente las vulnerabilidades, establecer indicaciones sólidas del sistema para guiar el comportamiento de la IA e implementar medidas de seguridad en tiempo de ejecución de la IA que supervisen y bloqueen la actividad sospechosa. Las acciones clave para los CISO incluyen:

• Implementar la validación y el saneamiento de las entradas para filtrar las indicaciones potencialmente maliciosas.
• Establecer sistemas de monitoreo y alerta para detectar comportamientos anormales de la IA que puedan indicar una inyección oportuna exitosa.
• Integrar las pruebas de inyección rápida en el ciclo de vida del desarrollo del sistema de IA.
• Aproveche los resultados de las pruebas para mejorar los controles en tiempo de ejecución.