Los tokens de IA son las unidades de datos procesadas por los modelos de IA generativa. El consumo de tokens influye directamente en el costo de las herramientas de codificación de IA, especialmente en estructuras de precios basadas en el consumo.

“Las organizaciones están pasando rápidamente de la experimentación al despliegue a gran escala de agentes de codificación de IA, pero muchas subestiman el impacto financiero del creciente consumo de tokens”, afirmó Nitish Tyagi, analista principal sénior de Gartner. “La disciplina en el uso de tokens no surgirá únicamente por decisión de los desarrolladores, ya que estos tienden a priorizar la velocidad y la comodidad sobre la rentabilidad. Sin un modelo operativo de ingeniería controlado, los costos pueden dispararse más rápido que las ganancias de productividad que estas herramientas están diseñadas para ofrecer”.

La fijación de precios basada en el consumo plantea desafíos en cuanto a la previsibilidad de los costos.

El cambio de las licencias por usuario a los precios basados ​​en el consumo entre los proveedores de agentes de codificación de IA está generando estructuras de costos muy variables para las cargas de trabajo de ingeniería de software. Muchos proveedores carecen de transparencia sobre cómo se calcula y factura el consumo de tokens, lo que limita la capacidad de las empresas para pronosticar y controlar los costos con precisión.

Sin una visibilidad clara del uso de los tokens en las distintas tareas de desarrollo, las organizaciones corren el riesgo de sufrir sobrecostos y de ver reducida su capacidad para realizar un seguimiento de la relación costo-valor.

“La mayoría de las organizaciones aún carecen de la madurez y los marcos necesarios para medir eficazmente el costo en relación con el impacto en el negocio”, afirmó Tyagi. “Los líderes de ingeniería de software están cada vez más preocupados, ya que el gasto en IA basada en tokens se vuelve más difícil de justificar, y los presupuestos a menudo se agotan antes de lo previsto”.

Más allá de los desafíos relacionados con los precios y la visibilidad, la forma en que se utilizan los agentes de codificación de IA dentro de las organizaciones está generando aún más presión sobre los costos. El gasto excesivo en tokens suele estar vinculado a la manera en que los líderes de ingeniería de software gestionan su uso, con fallos comunes que incluyen la autonomía sin control en los flujos de trabajo impulsados ​​por agentes, ventanas de contexto excesivamente largas y la ausencia de mecanismos de retroalimentación estructurados para optimizar su uso.

Además, los proveedores de software de codificación de IA aún no ofrecen capacidades maduras e integradas de optimización de costes en los agentes de codificación de IA, lo que contribuye aún más al aumento de los costos.

“Los costos de codificación de la IA seguirán aumentando a medida que la inversión en infraestructura y los desafíos de rentabilidad eleven los precios de los modelos”, afirmó Tyagi. “Al mismo tiempo, a medida que más desarrolladores adopten herramientas de IA, se espera que los usuarios ocasionales se conviertan rápidamente en usuarios habituales a medida que aumenten la familiaridad y la dependencia, lo que impulsará un mayor crecimiento en el consumo de tokens y el gasto total”.

Para gestionar el aumento de los costes y evitar sobrecostos, Gartner recomienda que los responsables de ingeniería de software implementen un modelo operativo disciplinado para el uso de la IA:

• Establecer un marco de decisión basado en casos de uso: las organizaciones deben definir claramente cuándo se deben usar los agentes de codificación de IA y determinar los niveles de autonomía apropiados para cada tarea. Esto incluye clasificar las tareas de desarrollo en tres modelos de ejecución: dirigido por el desarrollador, con la ayuda del agente y totalmente dirigido por el agente.
• Alinear la selección de modelos con la complejidad de la tarea: los agentes de codificación de IA son más rentables cuando el trabajo se divide en tareas más pequeñas que pueden ser gestionadas por modelos más pequeños, y solo se recurre a modelos más complejos cuando la complejidad lo requiere. Los equipos de ingeniería y plataforma deben implementar estrategias inteligentes de enrutamiento de modelos que dirijan las tareas más sencillas y frecuentes a modelos más pequeños, reservando los modelos de vanguardia para el desarrollo de tareas complejas y de alto valor.
• Implicar prácticas de ingeniería de contexto: los desarrolladores deben recibir capacitación para optimizar el contexto de entrada proporcionado a los sistemas de IA, incluyendo solo información relevante, resumiendo el contenido cuando sea posible y eliminando datos innecesarios para reducir el consumo de tokens sin comprometer la calidad de la salida.
• Implementar mecanismos de gobernanza y control de costos: las organizaciones deben introducir mecanismos como umbrales de tokens, políticas de escalamiento y monitoreo automatizado para gestionar el uso. La integración de estos controles en los flujos de trabajo de ingeniería garantiza la coherencia y previene el crecimiento descontrolado de los costos.
• Integrar las revisiones del uso de tokens en los ciclos de desarrollo: los líderes deben exigir revisiones periódicas de los flujos de trabajo que consumen muchos tokens como parte de las retrospectivas de los sprints para identificar ineficiencias, refinar las prácticas y promover el intercambio de conocimientos entre los equipos de ingeniería.