Avaliação de modelos
VideoaulaTeoria em textoPDF30 minAula grátis
Videoaula em produção
O vídeo desta aula entra pelo painel. Enquanto isso, a teoria está logo abaixo.
Um modelo só é útil se acerta dados que nunca viu. Por isso separamos os dados em treino (ajustar parâmetros), validação (escolher hiperparâmetros) e teste (estimativa final, usada uma única vez).
Viés e variância
- Subajuste (alto viés): modelo simples demais; erro alto no treino e na validação.
- Sobreajuste (alta variância): modelo decora o treino; erro baixo no treino e alto na validação.
Remédios para sobreajuste: mais dados, regularização L1 (lasso, zera coeficientes) ou L2 (ridge, encolhe coeficientes), dropout em redes neurais, poda de árvores, parada antecipada.
Validação cruzada k-fold
Divide os dados em k partes; treina k vezes, cada vez validando numa parte diferente, e tira a média. Dá uma estimativa mais estável com poucos dados. Em séries temporais, a divisão precisa respeitar a ordem do tempo.
Vazamento de dados
Ocorre quando informação do teste contamina o treino, por exemplo ao normalizar a base inteira antes de separar. O resultado é uma métrica otimista que não se repete em produção.