Uma instituição financeira latino-americana de médio porte incorporou há dois anos um sistema de scoring de crédito assistido por inteligência artificial, fornecido por um fornecedor tecnológico internacional. O modelo entrou no circuito de aprovação de empréstimos pessoais sem uma comparação documentada com o sistema anterior. Durante os primeiros seis meses, a instituição dependeu do fornecedor para explicar decisões específicas e não obteve detalhes suficientes para verificá-las de forma independente. Esta leitura organiza o que esse caso anonimizado mostra sobre governança algorítmica no setor financeiro, a partir da prática de auditoria.
O contexto operacional
O setor financeiro latino-americano incorpora inteligência artificial em decisões críticas — crédito, fraude, prevenção à lavagem de dinheiro, identificação biométrica, atendimento ao cliente — em um ritmo que seus marcos de governança não acompanham. A assimetria tem forma conhecida. As instituições grandes e médias adotam modelos em velocidade comercial; os marcos regulatórios e os sistemas de gestão de risco institucional avançam em velocidade administrativa.
O caso desta abertura não é uma raridade. É a forma que essa defasagem assume quando a prática de auditoria a encontra em campo, com regularidade crescente · modelos algorítmicos decidindo em operação crítica sem uma estrutura de governança dimensionada para o nível de risco que a própria instituição acaba de assumir.
Cinco constatações técnicas do caso
| Constatação | Evidência no caso | Princípio comprometido |
|---|---|---|
| 01 · Sem operação em paralelo | O modelo substituiu diretamente o modelo estatístico anterior; a metodologia de pré-produção omitiu a etapa | Princípio 01 · operação em paralelo |
| 02 · Explicabilidade insuficiente | A área de Compliance pediu explicação de seis decisões do primeiro trimestre; o fornecedor respondeu quatro semanas depois, sem detalhes suficientes para verificação independente | Princípio 02 · explicabilidade própria do adotante |
| 03 · Supervisão humana nominal | Revisão de uma amostra restrita sem representatividade estatística nem critério de amostragem; as decisões eram executadas diretamente com base na saída do modelo | Princípio 03 · supervisão efetiva |
| 04 · Sem monitoramento de deriva | Nenhum controle técnico de model drift sobre uma população cujo comportamento muda em relação ao da população de treinamento | Princípio 04 · detecção de deriva |
| 05 · Rastreabilidade rompida | A auditoria externa anual cumpriu seu papel em relação aos procedimentos documentados; o comportamento do modelo em operação ficou fora do escopo | Os quatro ao mesmo tempo. O sistema foi confirmado sem ser examinado |
A quinta constatação merece uma linha à parte, porque toca na profissão. A revisão externa anual cumpria formalmente seu papel e não viu nada · seu escopo excluía a verificação técnica do modelo em operação. O procedimento documentado estava em ordem; a operação efetiva ficou sem testemunha. O Critério 10 estabelece a doutrina com a categoria exata ·
Quatro princípios operacionais
Lido em conjunto com outros casos de campo, este mostra quatro princípios que a governança algorítmica séria não pode delegar.
A transição precisa de uma comparação controlada
Quando a criticidade e a natureza da mudança justificam, o modelo novo deve ser comparado com o anterior ou com um controle equivalente antes de assumir toda a decisão. A duração e a amostra são definidas por risco, volume e capacidade de detectar discrepâncias; não existe um prazo universal. No caso, a metodologia omitiu essa comparação.
A organização mantém a responsabilidade pela explicação
A instituição que adota um modelo algorítmico deve poder explicar e revisar as decisões que utiliza, mesmo que contrate capacidade técnica externa. O caso mostra o risco de depender inteiramente do fornecedor · a área de Compliance pediu explicação de seis decisões e a resposta chegou quatro semanas depois, sem detalhes verificáveis. A capacidade deve estar disponível sob condições, prazos e evidências governados pela instituição.
A supervisão humana deve ser efetiva
A supervisão humana admite três estados — efetiva, nominal, ausente — e só o primeiro conta (Critério 10). Efetiva exige três coisas · critério de amostragem documentado, autoridade para bloquear decisões do modelo e registro da última decisão bloqueada, com data. A revisão do caso operava sobre uma fração mínima do fluxo, sem critério de amostragem e sem jamais ter bloqueado uma decisão · supervisão nominal. O Critério 15 dá o nome de fundo · toda amostra é uma teoria do risco posta por escrito. A amostra de revisão humana do caso não tinha teoria; tinha comodidade.
A deriva exige uma regra de detecção e resposta
A deriva é um risco previsível quando a população, os dados ou o contexto de operação mudam em relação ao treinamento. O controle deve definir como detectá-la, avaliá-la e decidir se cabe retreinar, recalibrar ou retirar o modelo. No caso, não existia um mecanismo documentado para fazer isso.
Os limites do caso · o que permite generalizar
Os limites não são advertências legais · são parte do argumento. Um texto sem limites declarados afirma mais do que pode sustentar. O caso está anonimizado e é um só. Permite três coisas. As perguntas — os cinco achados funcionam como lista de verificação aplicável a qualquer entidade que opere modelos em decisões críticas —, o padrão — lido junto a outros casos de campo, é representativo de uma configuração recorrente, sem quantificá-la — e os princípios — que têm respaldo normativo independente do caso. O que fica fora do escopo também está declarado · proporções do setor, atribuição a uma entidade identificável e qualquer conclusão sobre o desempenho estatístico do modelo em si.
O marco internacional aplicável
A ISO/IEC 42001:2023 fornece a estrutura de sistema de gestão para governar riscos, impactos, responsabilidades e monitoramento da IA. Não prescreve literalmente os quatro mecanismos deste caso: a comparação controlada, a explicabilidade disponível, a supervisão efetiva e a detecção de deriva são critérios operacionais cuja forma deve ser justificada conforme o risco. A cadeia de acreditação para certificar a norma existe desde 2024 (ANAB; UKAS). Para o setor financeiro, diferentes autoridades latino-americanas também publicam diretrizes sobre o uso de IA em decisões de crédito.
A distância entre a velocidade de adoção tecnológica e a das estruturas de governança é o campo de trabalho mais urgente da prática de auditoria no setor durante a próxima década.
O exercício do próximo trimestre
Se sua entidade opera modelos algorítmicos em decisões críticas, execute um exercício diagnóstico no próximo trimestre. Inventarie todos os modelos em operação produtiva. Verifique, para cada um, quatro componentes · período de operação em paralelo documentado, capacidade técnica interna de explicabilidade, supervisão humana efetiva — com critério de amostragem, autoridade de bloqueio e registro — e monitoramento contínuo de deriva. Cada componente ausente significa que o modelo opera com um risco de governança superior ao perfil institucional declarado. E que ninguém decidiu isso · simplesmente aconteceu.
A inteligência artificial chegou ao setor financeiro antes da cultura institucional capaz de governá-la. A distância não se fecha sozinha. Fecha-se com critério técnico.