3.4 Regressão linear múltipla

Na história introdutória sobre conjuntos de dados, vimos que um número maior de atributos é usado. No entanto, na história da regressão linear, utilizamos apenas um atributo (a metragem quadrada da propriedade). Provavelmente está se questionando o que fazemos quando temos vários atributos e se podemos então aplicar um modelo de regressão linear.

 O modelo de regressão linear adaptado a este cenário é chamado  de regressão linear múltipla e tem a forma \(y = β_0 + β_1X_1 + β_2X_2 + β_3X_3 +...+ β_nX_n\). Não se confunda com esta longa expressão - agora os valores \(X_1, X_2, X_3, ..., X_n\) representam os atributos individuais e os parâmetros \(β_0, β_1, β_2, β_3, ..., β_n\) são os parâmetros do modelo. Por trás dessa generalização está novamente a ideia de uma relação linear entre os atributos individuais e a variável alvo.

O objetivo da aprendizagem é determinar os valores dos parâmetros \(β_0, β_1, β_2, β_3, ..., β_n\) e, assim, ter uma ideia das dependências. Chegamos a eles da mesma forma que com a regressão linear que conhecemos (também dizemos que é simples): minimizando o erro quadrado médio no conjunto de dados de treinamento. A técnica de descida de gradiente pode ser generalizada para se adequar a essa configuração de tarefa e pode nos ajudar a encontrar o conjunto de valores \(β_0, β_1, β_2, β_3, ..., β_n\) para os quais o erro quadrado médio é o menor.

No caso de um modelo de regressão linear de atributo único, também poderíamos imaginar o significado dos parâmetros \(β_0\) e \(β_1\): eles determinaram o deslocamento e a inclinação da linha que passa pelo conjunto de dados. Assim, eles mostraram-nos a força da dependência linear entre as variáveis de entrada e saída, ou seja, o quanto o valor da variável de saída y muda quando mudamos o atributo \(x\) por 1. Agora que temos mais parâmetros, é natural que nos perguntemos que significado lhes podemos dar. Têm o mesmo tipo de dependência. Se imaginarmos que apenas \(β_0\) e \(β_2\): são parâmetros diferentes de zero, então a relação entre a variável alvo y e o atributo \(X_2\) é representada pela equação \(y = β_0 + β_2X_2\), ou seja, Linear e o mesmo nos diz quanto o valor para a variável alvo y mudará e em que direção quando alteramos o valor para \(X_2\) por 1.

 Dado que os parâmetros resumem o conhecimento do conjunto de dados para nós, no caso de regressão linear múltipla, valores maiores de parâmetros indicam uma maior significância de um atributo sobre o valor da variável alvo. Para poder acompanhar essa propriedade, geralmente plotamos os valores dos parâmetros calculados com um gráfico de colunas. A figura abaixo mostra os valores dos parâmetros de um modelo que usa um conjunto de dados reais para prever os preços dos imóveis (os populares imóveis de Boston). Sem entrar em muitos detalhes sobre este conjunto, podemos notar imediatamente que o atributo LSTAT tem mais, e negativamente, no valor da variável alvo, enquanto os atributos RM e RAD têm um efeito positivo, quase igualmente. Gráficos desse tipo, que podem nos dar alguma ideia da influência dos atributos, são chamados de gráficos de importância de atributos (feature importance graph ).

Gráfico da importância dos atributos de regressão múltipla

Outro detalhe que deve ser enfatizado, para não surpreender mais tarde, diz respeito à linearidade. O modelo de regressão linear é linear em termos de parâmetros. Isso significa que um modelo cuja forma \(y = β_0 + β_1X + β_2X^2 + β_3X^3\), na qual os graus de valores de atributos são calculados, seria executado como um modelo linear. É semelhante para o modelo \(y = β_0 + β_1log(X)\), no qual o logaritmo do valor do atributo é figurado. Você pode pensar nessas funções de atributo, talvez inesperadas, como transformações que fixam a relação linear entre o atributo e a variável de destino.