El sesgo algoritmico no es un problema teorico. Es un riesgo operativo medible que afecta decisiones reales: a quien se le aprueba un credito, quien pasa un filtro de seleccion de personal, que contenido se prioriza en un sistema de recomendacion. En America Latina, donde el 73% de las organizaciones opera con sistemas de IA sin gobernanza formal segun nuestra investigacion sobre sesgo algoritmico en LATAM, la pregunta no es si hay sesgo. La pregunta es si lo estas midiendo.
Que es sesgo algoritmico en terminos auditables
Desde una perspectiva de auditoria, el sesgo algoritmico es una desviacion sistematica en las salidas de un modelo de IA que produce resultados desproporcionadamente desfavorables para un grupo definido. La clave es "sistematica" y "medible". Un caso aislado de error no es sesgo. Un patron reproducible de discriminacion en las predicciones si lo es.
Para que el sesgo sea auditable, necesitas tres elementos: una definicion operativa de equidad para tu contexto, metricas cuantificables y umbrales de aceptabilidad definidos antes de la evaluacion.
El marco de auditoria: 5 fases
Basado en los controles de ISO 42001 Anexo A y en la experiencia acumulada en evaluaciones de sistemas de IA en la region, el marco que utilizamos tiene 5 fases:
Fase 1: Definicion de alcance y variables protegidas
Antes de medir sesgo, tenes que definir contra que lo medis. Las variables protegidas varian segun jurisdiccion y contexto: genero, etnia, edad, ubicacion geografica, nivel socioeconomico. ISO 42001 Anexo A control A.3 (politica de IA) exige que la organizacion defina explicitamente que grupos y atributos son relevantes para cada sistema.
Fase 2: Seleccion de metricas de equidad
Existen multiples metricas y no todas son compatibles entre si. Las que mas utilizamos en evaluaciones:
- Disparate Impact Ratio (DIR): Proporcion de resultados positivos para el grupo protegido versus el grupo de referencia. Un DIR menor a 0.8 es el umbral clasico de la regla 4/5 del EEOC.
- Equalized Odds: Las tasas de verdaderos positivos y falsos positivos deben ser similares entre grupos. Especialmente critica en modelos de decision binaria.
- Predictive Parity: El valor predictivo positivo debe ser equivalente entre grupos. Relevante cuando las consecuencias de un falso positivo son distintas segun el grupo.
- Calibration: Las probabilidades predichas deben reflejar las proporciones reales observadas en cada grupo.
ISO 42001 Anexo A control A.5 (evaluacion de impacto) exige que la organizacion documente los criterios de evaluacion utilizados y justifique la seleccion de metricas.
Fase 3: Recoleccion y preparacion de datos de evaluacion
El dataset de evaluacion debe ser representativo de la poblacion sobre la que opera el modelo. Un error frecuente: evaluar sesgo con los mismos datos de entrenamiento. ISO 42001 Anexo A control A.6 (gestion de datos) establece requisitos de trazabilidad y calidad de datos que aplican directamente a este paso.
Fase 4: Medicion y analisis
Aca es donde la mayoria de las organizaciones fallan. Miden una sola metrica, obtienen un resultado favorable y declaran "nuestro modelo no tiene sesgo". El enfoque correcto es medir multiples metricas porque pueden contradecirse. Un modelo puede tener paridad demografica y al mismo tiempo violar equalized odds. La documentacion debe registrar todas las metricas evaluadas, no solo las favorables.
Fase 5: Documentacion y plan de mitigacion
Cada hallazgo de sesgo debe documentarse con: variable protegida afectada, metrica utilizada, valor obtenido versus umbral aceptable, impacto estimado en individuos afectados y acciones de mitigacion propuestas con plazos. ISO 42001 clausula 10.2 (mejora continua) exige que las acciones correctivas sean trazables y verificables.
Los controles clave de ISO 42001 para sesgo
El Anexo A de ISO 42001 contiene controles especificos que conforman la infraestructura de gobernanza para sesgo algoritmico:
- A.3 — Politica de IA: Debe incluir compromisos explicitos de equidad y no discriminacion.
- A.4 — Evaluacion de impacto: Incluye evaluacion de impacto en derechos humanos y grupos vulnerables.
- A.5 — Evaluacion de riesgos de IA: Sesgo como categoria de riesgo con tratamiento especifico.
- A.6 — Gestion de datos: Requisitos de representatividad, calidad y trazabilidad de datos.
- A.10 — Monitoreo de desempeno: Monitoreo continuo post-deployment para detectar drift de sesgo.
Errores comunes en auditorias de sesgo
En las evaluaciones que realizamos a traves de nuestro servicio de gestion de riesgos y GRC, los errores mas frecuentes son: evaluar sesgo solo pre-deployment (el sesgo cambia con el tiempo), usar una unica metrica de equidad, no definir umbrales antes de la evaluacion (lo que permite mover el arco despues del tiro), y no incluir a las partes afectadas en la definicion de equidad.
El sesgo algoritmico es un riesgo gestionable. Pero gestionarlo requiere un marco sistematico, metricas definidas y monitoreo continuo. ISO 42001 proporciona la estructura. La decision de implementarla depende de cuanto valor le asigna tu organizacion a la equidad de sus decisiones algoritmicas.