Model Drift Nao Monitorado

Categoria: Tecnologia · Por Anderson Chipak · ALC Consultoria

O risco

Model drift e a degradacao da performance de um modelo de machine learning ao longo do tempo, causada pela diferenca entre a distribuicao dos dados de treino e a distribuicao dos dados reais em producao. Sem monitoramento, o modelo continua tomando decisoes com precisao decrescente.

Impacto regulatorio e empresarial

Dois tipos de drift afetam modelos: Data drift (distribuicao dos inputs muda) e Concept drift (relacao entre inputs e outcome muda). Para o BACEN, backtesting periodico e obrigatorio para detectar esses fenomenos. Bancos sem backtesting continuaram aprovando credito com base em modelos desatualizados, resultando em inadimplencia acima do esperado.

Como identificar na sua empresa

Indicadores de alerta: taxa de aprovacao de credito mudou significativamente sem mudanca de politica; metricas de negocio divergindo das previsoes do modelo; score distribuido de forma diferente do historico.

Como mitigar

1. Definir metricas de monitoramento: PSI para data drift, KS test e Gini para performance. 2. Criar alertas automaticos quando metricas saem de thresholds. 3. Estabelecer calendario de backtesting trimestral para modelos de credito. 4. Documentar processo de retreinamento acionado por drift detectado.