Hay una consigna muy popular en discusiones sobre regulación de IA: "los algoritmos deben ser transparentes". Suena bien. Es engañosa. Como auditor he revisado decenas de sistemas con esta promesa y la realidad es más matizada.
Qué significa "transparente"
La palabra esconde tres cosas distintas que conviene separar:
- Transparencia de proceso · saber qué datos se usaron, cómo se procesaron, qué decisiones de diseño se tomaron, quién las firmó. Esto sí es exigible · es ISO 42001 cláusula 7.5 (información documentada).
- Transparencia de resultado · saber por qué un modelo dio una decisión específica a un caso específico. Esto es explicabilidad · técnicamente parcial con SHAP, LIME, attention maps. Auditable pero limitado.
- Transparencia algorítmica completa · publicar el código fuente, los pesos del modelo, los datasets crudos. Esto es técnicamente posible pero estratégicamente raro y regulatoriamente innecesario en la mayoría de casos.
El error de pedir todo
Cuando una regulación pide "transparencia algorítmica total", está pidiendo el tercer tipo. El problema: pocos sistemas reales pueden cumplir eso sin destruir el modelo de negocio. Una fintech que publica el código de su modelo de credit scoring está regalando años de trabajo a la competencia · y los compradores expertos lo saben.
"Pedir transparencia algorítmica total como condición regulatoria es como pedir a un restaurante publicar la receta exacta de su plato estrella. Es exigible en investigación científica · raro en producto comercial."
Qué debe exigir un auditor serio
En la auditoría de Sistemas de Gestión IA bajo ISO 42001 lo que documentamos es:
- Datasheet del dataset de entrenamiento · origen, composición demográfica, sesgos conocidos, fechas de actualización (modelo Datasheets for Datasets · Gebru et al. 2021).
- Model card del modelo desplegado · uso previsto, casos de uso prohibidos, performance por subgrupos, limitaciones conocidas (modelo Model Cards · Mitchell et al. 2019).
- Política de explicación al usuario afectado · cuando una decisión automatizada afecta a una persona, qué información se le da, en qué tiempo, en qué canal.
- Sistema de monitoreo de drift · cómo la organización detecta que el modelo está fallando en producción y qué hace al respecto.
- Trazabilidad de versiones · qué modelo estaba en producción cuándo, con qué cambios respecto al anterior, quién aprobó el deploy.
La trampa de la "explicabilidad"
Hay sistemas de IA que son intrínsecamente difíciles de explicar a nivel individual (deep neural networks, modelos ensemble grandes). Pedir explicabilidad caso-por-caso a esos sistemas o destruye su accuracy o miente. Lo que sí se puede pedir es explicabilidad estadística agregada: "este modelo, en promedio, da más peso a esta variable que a esa otra · acá la prueba". Eso es honesto.
El auditor maduro entiende esta distinción · el auditor inmaduro confunde explicabilidad individual con explicabilidad agregada y termina exigiendo lo imposible o aprobando lo trivial.
Qué cambia esto para una organización
Si tu organización usa IA y va camino a certificarse bajo ISO 42001, no te conviene prometer "transparencia algorítmica total" en marketing. Te conviene documentar las 5 cosas que listé arriba con rigor técnico. Es lo que el auditor IAC va a buscar · y es lo que un comprador corporativo serio entiende.
La transparencia algorítmica como consigna política es atractiva. Como criterio técnico de auditoría es insuficiente. Hay que ser más preciso · y más útil.