Automation Bias - Dependencia Excessiva nos Outputs de IA
Categoria: Cultura · Por Anderson Chipak · ALC Consultoria
Regulacoes afetadas
PL 2338 (supervisao humana) - Responsabilidade civil - ISO 42001
O risco
Profissionais aceitam outputs da IA sem exercer pensamento critico independente, mesmo quando o output e claramente suspeito ou incorreto. Esse fenomeno chamado automation bias e bem documentado na literatura de fatores humanos e se intensifica quando a IA tem historico de alta precisao e ha pressao de tempo.
Impacto regulatorio e empresarial
Automation bias e particularmente perigoso em saude (medico que aceita diagnostico da IA sem examinar o paciente) e em financeiro (analista que aprova credito sem questionar o score). O PL 2338 exige supervisao humana efetiva, o que implica que o humano no loop precisa estar genuinamente engajado.
Como identificar na sua empresa
Indicadores de alerta: analistas de credito raramente discordam do modelo; medicos nao documentam raciocinio clinico proprio em prontuarios com sugestao de IA; indice de divergencia humano-IA proximo de zero; incidentes em que o erro de IA foi percebido tarde.
Como mitigar
1. Redesenhar interfaces para que o output da IA nao seja o primeiro elemento visual. 2. Exigir que o revisor documente seu proprio raciocinio antes de confirmar ou rejeitar a IA. 3. Criar incentivo para divergencias bem fundamentadas. 4. Medir e monitorar a taxa de divergencia humano-IA.
Este risco existe na sua empresa?
A auditoria da ALC identifica quais dos 50 riscos existem nos seus sistemas e prioriza os de maior impacto. Parecer tecnico em 5 dias uteis.