No los vemos, como una criatura invisible que asusta en una película de terror, pero en lugar de asustar, impulsan decisiones en aspectos críticos como la detección de fraudes, la segmentación de clientes, los procesos de contratación y las experiencias digitales.
Los algoritmos son la no tan nueva mano invisible que da forma al negocio. A medida que el ML y la IA se integran cada vez más en las arquitecturas empresariales, la cuestión no es si la gobernanza es necesaria, sino con qué eficiencia podemos diseñarla para mantener el ritmo.
Lógica invisible. Consecuencias potencialmente muy visibles.
El reto: los sistemas evolucionan más rápido que la supervisión
Los ciclos modernos de despliegue de ML son rápidos y no van a ralentizarse: antes de que existieran herramientas como Goose o incluso Cursor, se podía pasar de POC a producción en semanas. Copilotos, motores de recomendación, modelos de previsión... van a seguir enviándose (enviándose, en el futuro).
Pero la madurez de los procesos suele ir a la zaga. Es posible que los equipos de TI y seguridad se incorporen a posteriori. Es posible que el departamento jurídico no vea el modelo hasta que ya esté en funcionamiento. Los artefactos del modelo pueden ser versionados (¿pero el contexto, las hipótesis y los riesgos?).
Viola: sistemas técnicamente impresionantes que no son totalmente observables, explicables o auditables a escala o que pueden tener otros fantasmas en la máquina. Esto no es en absoluto un ataque a la innovación, sino una llamada a la alineación.
La gobernanza es (a veces) una función de ingeniería
A menos que estés en un sector regulado o haciendo algo que probablemente debería estar regulado, o algo que tus amigos piensen que debería estar regulado, no abogo necesariamente por "el cumplimiento primero". La gobernanza de la IA tiene que ver con la integridad del sistema: rendimiento en casos límite extraños, auditabilidad bajo carga y confianza sostenida entre las unidades de negocio y los usuarios finales.
Es posible hacer todo eso como parte del proceso de ingeniería. No se trata de ralentizar el desarrollo/progreso/etc., se trata de reducir la fricción más adelante diseñando para:
- Trazabilidad de las entradas, salidas y transformaciones
- Comportamiento previsible
- Fallbacks controlados y... si es necesario, escaladas humanas en el bucle (u otros humanos).
Gobernanza de la IA ≠ Burocracia
Una buena gobernanza no significa un PDF de 50 páginas o una página gigante de Confluence o esperar a que se seque la pintura de la IA. Significa procesos ligeros y duraderos que:
- Alinear el comportamiento del sistema con la intención de la empresa
- Percolar los riesgos antes de la producción
- Permitir la iteración continua, no la reelaboración bajo coacción
☝️ Apuesto a que esas son balas familiares para cualquiera que haga ingeniería de software de casi cualquier tipo, y también lo son las preguntas técnicas para sondear por adelantado:
- ¿Cuál es el modo de fallo esperado?
- ¿Podremos reproducir este resultado dentro de seis o doce meses?
- ¿Qué características (como en la ingeniería de características) dominan esta predicción y por qué?
- ¿Estamos vigilando la deriva, el sesgo y las fugas latentes en la producción?
Ponte la colonia de preguntas como ésas y olerás mucho a Gobernador.
Las entradas son la parte difícil
A veces, la mayoría de los riesgos no están en el modelo, sino en el proceso o en lo que se introduce en él. Conjuntos de datos mal etiquetados o sin etiquetar. Definiciones ambiguas de la verdad sobre el terreno. Información que viajó en el tiempo a su conjunto de entrenamiento y crea fugas. ¿Incorporaciones mal utilizadas?
Las estrategias de mitigación incluyen:
- Conjuntos de datos y almacenes de características con control de versiones (Delta Tables ftw)
- Auditorías de datos y documentación de linaje, relaciones temporales, propiedad, etc.
- Quizás incluso modelos de red-teaming para desalineación o inyección rápida si los LLM están en el ámbito, es divertido decir "red-teaming".
Los guardarraíles no deben significar atascos
Exigir a la IA más que a los humanos es comprensible y está bien, hasta cierto punto.
Cuando un médico clasifica mal, lo llamamos error humano. Cuando un modelo hace lo mismo a gran escala (a pesar de un mejor rendimiento general), a menudo se considera un fallo sistémico.
La gobernanza correcta acepta este doble rasero sin corregir en exceso. No se trata de cero defectos, sino de una gestión coherente de los casos extremos y una reducción continua de los riesgos a lo largo del tiempo.
Rendición de cuentas
Las organizaciones que más se beneficien de la IA no se limitarán a crear mejores modelos, sino que probablemente también crearán mejores marcos operativos en torno a esos modelos.
La cuestión no es si confía en su IA. La cuestión es si puede explicarla, controlarla y hacerla evolucionar.
Si la respuesta es negativa, la gobernanza no es un obstáculo, sino un acelerador.
Descargo de responsabilidad: esto no es asesoramiento jurídico.