2.8 Criando uma representação de um conjunto de dados

Preparação de atributos numéricos

Ao trabalhar com atributos numéricos, encontramos quantidades que são expressas em diferentes escalas de valores. Por exemplo, em um único conjunto de dados médicos, pode haver análises laboratoriais com valores que variam de 0 a 1 e informações sobre a altura do paciente expressas em centímetros, de 100 a 250, que é significativamente maior. Muitos modelos de aprendizado de máquina são sensíveis à presença desses atributos e, portanto, levam mais tempo para encontrar uma solução. Não é fácil entender os resultados que vêm com esse tipo de trabalho. É por isso que, ao trabalhar com dados numéricos, usamos técnicas de normalização que nos ajudam a trazer um conjunto de valores de atributos para os mesmos intervalos de valores.

Uma dessas normalização é  a normalização min-max. Para esclarecer como ela é realizada, suponha que precisamos normalizar o valor do atributo X para expressar a altura dos pacientes. Seja Xmax = 180 representar a altura máxima dos pacientes e Xmin = 110 o menor. A normalização de min-max  é realizada aplicando a fórmula (x − Xmin)/(Xmax − Xmin) a cada valor do atributo x. Se x = 165, o novo valor normalizado será x′= (165 − 110)/(180 − 110) = 0,786. Desta forma, o valor do atributo é reduzido para um intervalo de 0 a 1.

Um dos aspetos mais importantes da normalização é a padronização. Envolve centralizar o valor do atributo em torno de zero e dimensionar para a variância da unidade. Para esclarecer como ela é realizada, podemos novamente supor que precisamos normalizar o valor do atributo X, que expressa a altura dos pacientes. Vejamos agora Xmédia = 153,2 a altura média no conjunto de dados e σ = 40,23 o desvio padrão. A padronização é realizada aplicando a fórmula (x − Xmean)/σ a cada valor do atributo x. O novo valor padronizado para um paciente cuja altura é x = 165 é agora x′= (165 − 153,2)/40,23 = 0,293.

O efeito da normalização e padronização em um conjunto de dados

Preparação de atributos categóricos

Como os algoritmos de ML só podem ser aplicados a números, os atributos categóricos exigem uma preparação especial. Já referimos que representam quantidades com um número finito de valores e que muitas vezes surgem sob a forma de texto (strings). Alguns dos exemplos que mencionámos são o nome da cor, o sexo do paciente e o mês do ano.

Se um atributo tiver apenas dois valores — por exemplo, representando o sexo de um paciente — os seus valores são frequentemente convertidos para os números 0 e 1. Por exemplo, o valor "feminino" pode ser representado pelo número 1 e o valor "masculino" pelo número 0. Estes atributos são designados por atributos binários.

Exemplo de mapeamento de valor

Para atributos que podem ter vários valores, usamos codificação one-hot. Para esclarecer seu significado, podemos olhar para um atributo que representa uma cor, que pode ter três valores: vermelho, amarelo e verde. A ideia é representar o atributo de cor padrão usando três novos atributos, cada um dos quais corresponderá a um dos valores que a cor pode ter: vermelho, amarelo e verde (olhe para a imagem, esta foi uma frase complicada). Isto significa ainda que vamos transformar cada um dos valores do atributo inicial num triplo de valores, ou seja, o valor do vermelho num triplo de 1 , 0, 0, o valor do amarelo num triplo de 0 , 1 , 0, e o valor do verde num triplo de 0 , 0 , 1 . Os trigêmeos, como podemos ver, consistem em zeros e exatamente uma unidade na coluna que corresponde ao valor do atributo.

Exemplo de codificação one-hot

Representação do conjunto de dados

Após a etapa de transformação de atributos, chegamos à forma final de dados que podemos usar para executar algoritmos de aprendizagem. Este formulário final é chamado de representação do conjunto de dados . Na história até agora, abordamos, em primeiro lugar, como chegar à representação de dados tabulares. E para todos os outros tipos de dados, como imagens, áudios, texto, vídeo-conteúdo, mas também estruturas complexas, como gráficos, precisamos criar representações adequadas. Na seção sobre redes neurais, vamos aprender sobre algumas outras maneiras de criar representações.