3.11 Validação, validação cruzada

Já dissemos muitas vezes que, antes de aplicar um algoritmo de aprendizagem automática, os dados são divididos em um conjunto de treinamento e um conjunto de testes (incluímos o conjunto de validação quando precisamos). Também mencionamos que o processo de divisão é aleatório. Deve ter-se perguntado se algumas divisões diferentes, em comparação com as que escolhemos, levariam a resultados diferentes do trabalho do modelo. Talvez seja para uma divisão específica do conjunto de dados que obtemos resultados mais otimistas ou drasticamente piores. E é uma espécie de ajuste.

Sempre que os tamanhos dos conjuntos de dados e os algoritmos selecionados permitirem, é desejável realmente executar várias divisões do conjunto de dados inicial em um conjunto de treinamento e um conjunto de testes para que cada instância no conjunto de dados tenha a oportunidade de ser encontrada em ambos os conjuntos. Um desses procedimentos que descreveremos é chamado de validação cruzada. No exemplo, usaremos um algoritmo de regressão linear, mas a história é geral e aplica-se a todos os algoritmos.

Vamos dividir o conjunto de dados em 10 partes, como na figura abaixo. Na primeira etapa, extraímos a primeira parte do conjunto de testes e mantemos as nove partes restantes para treinamento. Para facilitar o acompanhamento, o conjunto de teste é colorido de amarelo na imagem, e os conjuntos de treinamento são coloridos de azul. Agora vamos treinar o primeiro modelo de regressão linear no conjunto de treinamento e calcular o valor de seu erro quadrado médio no conjunto de teste. O valor resultante pode ser marcado com MSE₁ . Na segunda etapa, separamos a segunda parte do conjunto de testes e as nove partes restantes para o conjunto de treinamento. Agora, na imagem, a segunda parte é pintada de amarelo, e as partes restantes são pintadas de azul. Vamos treinar novamente o modelo de regressão linear no conjunto de treinamento (que é o segundo modelo agora) e calcular o valor de seu erro quadrado médio no conjunto de teste. Agora vamos marcar esse valor com MSE₂ . Vamos continuar este processo até chegarmos à última, décima, parte: agora vamos mantê-lo como um conjunto de testes, e vamos usar as partes restantes para treinar o modelo. Vamos treinar o décimo modelo de regressão linear sobre ele e, em seguida, calcular o erro quadrado médio MSE₁₀ no conjunto de teste.

Validação cruzada com 10 camadas

Como temos 10 divisões diferentes do conjunto de dados, também temos 10 valores diferentes do erro quadrado médio. A média dos valores obtidos (MSE₁ + MSE₂ + ... + MSE₁₀ )/10 realmente indica melhor como nosso modelo se comporta e nos ajuda a resolver os dilemas que tivemos no início em relação ao impacto da divisão no sucesso do modelo. O que não está muito claro é qual dos 10 modelos diferentes temos à nossa disposição devemos escolher. O menor erro ou algum outro? Na verdade, devemos agora treinar um novo modelo ao longo de todo o conjunto de dados e continuar a usá-lo, aproximamos o seu comportamento e classificamo-lo com os comportamentos de cada um dos 10 modelos treinados.

 Esse processo é chamado de validação cruzada de 10 camadas Validação cruzada de 10 vezes. Na prática, divisões de 3 e 5 camadas também são usadas, e as escolhas dependem do tamanho do conjunto de dados e do tipo de algoritmos usados. Além disso, há uma divisão na qual o número de camadas corresponde ao número de instâncias no conjunto de dados, chamada leave-one-out cross validation.