EscucharLa narrativa predominante en el sector tecnológico es que las herramientas de inteligencia artificial (IA) generativa, como Claude o los asistentes integrados en editores de código, son un catalizador indiscutible de la productividad para los desarrolladores de software.
Esta creencia impulsa una adopción generalizada en la industria y expectativas de enormes ganancias en eficiencia, con expertos y las propias empresas vaticinando un futuro de desarrollo acelerado.
Sin embargo, en el día a día de proyectos complejos, muchos programadores experimentados reportan una realidad más matizada.
El tiempo que se ahorra en la generación inicial de código a menudo se reinvierte, y a veces se supera, en la verificación, depuración y adaptación de las sugerencias de la IA para que cumplan con los altos estándares de calidad y las particularidades de un código base ya existente.
Esta percepción ahora cuenta con el respaldo de un estudio académico que pone cifras.
Una investigación de la organización Model Evaluation & Threat Research (METR), publicada este mes, realizó un ensayo controlado con 16 programadores de código abierto de élite y encontró un resultado que contradice frontalmente las expectativas de la industria: el uso de herramientas de IA de última generación no solo no los aceleró, sino que los ralentizó de forma significativa.
El hallazgo central del estudio es contundente. Mientras las proyecciones más conservadoras apuntaban a una mejora, la realidad fue otra. El informe concluye: “Sorprendentemente, descubrimos que permitir la IA en realidad aumenta el tiempo de finalización en un 19%: las herramientas de IA ralentizaron a los desarrolladores”.
Los factores detrás del resultado inesperado
El estudio identifica una serie de causas para esta inesperada pérdida de productividad, concluyendo que la IA es menos útil en entornos de alta complejidad y cuando es utilizada por personal muy experimentado.
Los desarrolladores del estudio, con un promedio de 5 años de experiencia y 1.500 contribuciones en sus respectivos repositorios, poseen un conocimiento profundo y un contexto tácito que las herramientas de IA actuales no logran replicar.
El informe destaca varios factores:
- Alta familiaridad del desarrollador: El estudio encontró evidencia de que los programadores eran ralentizados aún más en las tareas con las que ya estaban muy familiarizados. Un desarrollador lo resumió así: “Si soy el encargado de cuidar de una parte muy específica del código, no hay manera de que el modo agente pueda hacerlo mejor que yo”.
- Complejidad de los proyectos: La IA mostró un peor desempeño en los repositorios grandes y complejos en los que se realizó la prueba, que tenían en promedio más de un millón de líneas de código. Un participante notó que la IA “introdujo tantos errores como los que corrigió” cuando la tarea de reorganización del código era demasiado grande.
- Baja fiabilidad de la IA: La calidad de las sugerencias fue un obstáculo constante. Los programadores aceptaron menos del 44% del código generado por la IA. El estudio señala que los participantes “informan que a menudo deben realizar cambios importantes para corregir el código generado por IA” y que, en promedio, un 9% del tiempo de trabajo con IA se dedicó exclusivamente a estas tareas de revisión y limpieza.
- Falta de contexto implícito: Los desarrolladores dependen de un conocimiento no documentado sobre el código base que es muy difícil de transmitir a un modelo de IA. Un participante señaló que el modelo no sabe que “debemos manejar este caso extraño de compatibilidad hacia atrás y, por lo tanto, mantener esta línea específica del código”.
Percepción versus realidad
Uno de los hallazgos más reveladores del informe es la profunda desconexión entre la percepción de los desarrolladores sobre la utilidad de la IA y los resultados medidos.
Antes de iniciar las tareas, los programadores predijeron que la IA los haría un 24% más rápidos. Lo más sorprendente es que, incluso después de finalizar el estudio y haber experimentado la ralentización, su estimación era que la IA había reducido su tiempo de trabajo en un 20%.
Esta sobreestimación fue aún más drástica entre los expertos externos. Economistas y especialistas en aprendizaje automático consultados predijeron que la IA aceleraría a los programadores en un 39% y 38%, respectivamente.
Esta brecha subraya, según los autores, “La importancia de realizar experimentos de campo con medidas de resultado sólidas, en comparación con depender únicamente de pronósticos de expertos o encuestas a desarrolladores”.
El estudio, sin embargo, es cuidadoso en sus conclusiones y advierte que los resultados no implican que la IA sea inútil en todos los contextos.
El estudio aclara que “estos resultados no indican que los sistemas de IA actuales no sean útiles en muchos entornos realistas y económicamente relevantes”. Simplemente, evidencian que en contextos muy específicos la promesa de una mayor productividad aún no se ha materializado con las herramientas disponibles a mediados de 2025.
