Modelo Desatualizado Operando em Producao
Categoria: Processos · Por Anderson Chipak · ALC Consultoria
Regulacoes afetadas
BACEN CMN 4.557 - Backtesting - Gestao de risco de modelos
O risco
Um modelo de IA treinado em dados de um periodo historico especifico continua operando em producao sem que ninguem tenha verificado se ele ainda e valido no contexto atual. Mudancas economicas, comportamentais ou regulatorias podem ter tornado o modelo inadequado.
Impacto regulatorio e empresarial
O exemplo mais documentado: modelos de credito treinados em dados pre-pandemia colapsaram em performance durante e apos a pandemia. Bancos sem backtesting periodico continuaram aprovando credito com base em modelos que nao mais refletiam a realidade, resultando em inadimplencia acima do esperado.
Como identificar na sua empresa
Verificar: quando foi o ultimo retreinamento do modelo? Existe relatorio de backtesting comparando performance atual vs. esperada? A performance do modelo no ultimo trimestre foi avaliada formalmente? Existe criterio definido para acionar retreinamento?
Como mitigar
1. Definir SLA de retreinamento baseado no ritmo de mudanca do ambiente (credito: trimestral; outros: semestral). 2. Implementar monitoramento automatico de drift como gatilho para retreinamento urgente. 3. Documentar cada retreinamento: dados usados, delta de performance, quem aprovou.
Este risco existe na sua empresa?
A auditoria da ALC identifica quais dos 50 riscos existem nos seus sistemas e prioriza os de maior impacto. Parecer tecnico em 5 dias uteis.