3.12 Regularização

As regularizações são outro conjunto de técnicas que podem ser usadas para controlar reajustes de modelos. O seu principal objetivo é evitar que modelos complexos, que nos ajudam a aprender um conjunto mais rico de dependências em dados, se tornem excessivamente adaptados.

Introduziremos a regularização usando o exemplo de um modelo de regressão linear. Suponhamos que treinamos o modelo e obtivemos os valores dos parâmetros, cuja representação gráfica se parece com a figura.

Os parâmetros que são os maiores (absolutos) em termos de seu valor também são os mais importantes para previsões de modelos. Na figura, estes são os parâmetros que correspondem aos atributos 3 e 5 e os seus valores, como podemos ver, são significativamente superiores aos valores dos outros parâmetros. Nesse sentido, esses atributos podem ignorar o impacto dos atributos restantes nos valores de previsão, para que possamos interpretar esse comportamento do modelo como uma forma de reajuste de dados.

 É por isso que é desejável, até certo ponto, limitar os valores dos parâmetros - queremos que o modelo aprenda os parâmetros e que eles reflitam as propriedades dos dados, mas também queremos monitorar seu valor para evitar ajustes excessivos. Essa técnica é chamada de regularização. No contexto da regressão linear, podemos fazer isso adicionando a soma dos quadrados dos parâmetros ao erro quadrado médio do modelo:

\( \frac{1}{N}\sum\limits_{i = 1}^{N}(y_i −(\beta_0 + \beta_1x_1 + \beta_2x_2 +...+ \beta_n x_n))^2 + λ(\beta_1^2 + \beta_2^2 +...+ \beta_n^2) \)

O valor de \(λ\) na expressão é um hiperparâmetro que afeta a força da regularização. Se o seu valor for 0, a regularização não terá efeito. Ao dar alguns valores diferentes de zero, equilibramos a aprendizagem determinada pelo erro quadrado médio e o reajuste medido pelos valores da soma dos quadrados dos parâmetros. Os quadrados existem por razões técnicas, primeiro para evitar que os valores dos coeficientes sejam suprimidos uns contra os outros e, em seguida, para preservar as propriedades da função de erro para a aplicação do algoritmo de otimização. Tal forma estendida de regressão linear complementada por um termo de regularização é chamada de regressão de crista.

Um pouco mais tarde, voltaremos à história da regularização quando introduzirmos as redes neurais. São modelos muito complexos, pelo que muitas vezes podem ser readaptados aos dados. Também veremos como podemos segui-lo.