2.4 O processo de Machine Learning

Introdução

O processo de ML (Machine Learning) é uma abordagem sistemática utilizada para desenvolver algoritmos que permitem aos computadores aprender a partir de dados e realizar previsões ou tomar decisões sem terem sido explicitamente programados para tal.
Este processo envolve várias etapas fundamentais, cada uma desempenhando um papel essencial na construção de modelos eficazes de ML.
Compreender estas etapas ajuda profissionais e estudantes a lidar com a complexidade da ML e aumenta significativamente a probabilidade de sucesso na resolução de problemas através desta tecnologia.

1. Recolha de dados

O primeiro passo no processo de ML é a recolha de dados, que consiste em reunir dados relevantes que serão utilizados para treinar o modelo. A qualidade e a quantidade dos dados recolhidos influenciam diretamente o desempenho do modelo.

Os dados podem ser obtidos a partir de várias fontes, nomeadamente:

• Conjuntos de dados públicos: repositórios como o Kaggle, o UCI Machine Learning Repository e bases de dados governamentais disponibilizam conjuntos de dados previamente recolhidos para diversas aplicações.

• Web scraping: ferramentas automatizadas podem extrair dados de sites, recolhendo informações que não estão imediatamente disponíveis em formatos estruturados.

• Questionários e experiências: a recolha personalizada de dados através de inquéritos ou experiências controladas pode gerar conjuntos de dados específicos e adaptados a um determinado problema.

O resultado desta etapa é um conjunto de dados coerente que representa o domínio do problema e que servirá de base para as etapas seguintes do processo de ML.

2. Preparação dos dados

Uma vez recolhidos, os dados devem ser preparados para análise. Esta fase de preparação envolve várias tarefas críticas:

• Limpeza de dados: os dados brutos geralmente contêm erros, duplicados ou valores ausentes. A limpeza dos dados é essencial para garantir precisão e confiabilidade. As técnicas incluem a remoção de duplicados, a correção de inconsistências e o preenchimento ou remoção de valores em falta.
• Transformação de dados: esta etapa pode envolver a normalização ou padronização de dados para garantir que todos os recursos contribuam igualmente para o desempenho do modelo. Os tipos de dados também podem precisar de conversão (por exemplo, conversão de variáveis categóricas em formatos numéricos).
• Divisão de dados: o conjunto de dados é normalmente dividido em conjuntos de treinamento e teste. Uma proporção de divisão comum é de 80% para treinamento e 20% para testes, garantindo que o modelo possa ser avaliado em dados não vistos.

A preparação de dados é muitas vezes um dos aspetos mais demorados do processo de ML, mas é crucial para o desenvolvimento de um modelo eficaz.

3. Seleção de recursos e engenharia

A seleção e a engenharia de atributos (também conhecidos como features) são etapas fundamentais que determinam quais características dos dados serão utilizadas no treino do modelo:

• Seleção de atributos: consiste na identificação das características mais relevantes que contribuem para a previsão da variável-alvo. Técnicas como a análise de correlação, a eliminação recursiva de atributos ou o uso de algoritmos como o LASSO podem ajudar a selecionar os atributos mais importantes e a descartar os irrelevantes.

• Engenharia de atributos: nesta fase, podem ser criados novos atributos a partir dos existentes, com o objetivo de melhorar o desempenho do modelo. Isto pode incluir atributos polinomiais, termos de interação ou atributos agregados com base no conhecimento do domínio do problema.

A seleção e engenharia eficazes de recursos podem melhorar significativamente o poder preditivo de um modelo, garantindo que ele se concentre nos aspetos mais informativos dos dados.

4. Seleção do modelo

Com os dados preparados e os atributos selecionados, o passo seguinte consiste na escolha de um algoritmo de ML adequado. A escolha do algoritmo depende de vários fatores:

• Tipo de problema: diferentes algoritmos são mais apropriados para diferentes tipos de tarefas —

  • Classificação (por exemplo, regressão logística, árvores de decisão),

  • Regressão (por exemplo, regressão linear),

  • Agrupamento (clustering, por exemplo, k-means),

  • ou aprendizagem por reforço.

• Características dos dados: a natureza dos dados (por exemplo, dimensão, volume, presença de ruído) influencia fortemente a escolha do algoritmo. Por exemplo, modelos de aprendizagem profunda (deep learning) são frequentemente preferidos em conjuntos de dados grandes com padrões complexos e não lineares.

A seleção de um modelo apropriado constitui a base para um treino eficaz e uma avaliação rigorosa.

5. Modelo de Formação

O treino do modelo consiste em alimentar os dados preparados ao algoritmo seleccionado, de modo a permitir que este aprenda os padrões existentes no conjunto de dados:

• Processo de treino: Durante esta fase, o algoritmo ajusta os seus parâmetros internos com base nas variáveis de entrada e nas variáveis de saída correspondentes (também chamadas de variáveis alvo). Este processo é iterativo e continua até que seja atingido um critério de paragem, como por exemplo um número definido de épocas ou a convergência do modelo.

• Métricas de avaliação: É essencial definir previamente as métricas de sucesso que serão utilizadas para avaliar o desempenho do modelo. Entre as métricas mais comuns destacam-se:

  • a precisão (accuracy) para tarefas de classificação,

  • o erro quadrático médio (mean squared error) para tarefas de regressão,

  • e a pontuação F1 (F1-score) para conjuntos de dados desequilibrados.

O objetivo do treino é desenvolver um modelo que consiga generalizar bem para dados novos, e não apenas memorizar os exemplos presentes no conjunto de treino (um problema conhecido como overfitting).


6. Avaliação do modelo

Após o treinamento, avaliar o desempenho do modelo em dados de teste invisíveis é crucial:

• Teste: O modelo é avaliado usando o conjunto de dados de teste que não esteve envolvido no treinamento. Essa avaliação fornece insights sobre o quão bem o modelo se generaliza para novas instâncias.
• Métricas de desempenho: Dependendo do tipo de problema, várias métricas podem ser empregadas:
• Para tarefas de classificação: precisão, precisão, recordação, pontuação F1.
• Para tarefas de regressão: R-quadrado, erro absoluto médio (MAE), erro quadrado médio (MSE).

Esta avaliação ajuda a identificar áreas onde o modelo se destaca ou precisa de melhorias.

7. Ajuste de hiperparâmetros

O ajuste de hiperparâmetros consiste na optimização de parâmetros que controlam o processo de treino, mas que não são aprendidos directamente a partir dos dados:

• Pesquisa em grelha (grid search) e pesquisa aleatória (random search): Estas técnicas exploram de forma sistemática ou aleatória diferentes combinações de hiperparâmetros, com o objectivo de encontrar as configurações que maximizam o desempenho do modelo.

• Validação cruzada: A utilização da validação cruzada durante o ajuste de hiperparâmetros permite avaliar a estabilidade e a fiabilidade do modelo, garantindo que as melhorias observadas não dependem apenas de um subconjunto específico de dados.

Um bom ajuste fino dos hiperparâmetros pode conduzir a melhorias significativas na precisão, generalização e robustez do modelo.

8. Implantação

Uma vez que um modelo satisfatório tenha sido treinado e avaliado, pode ser colocado em produção:

• Integração: O modelo final deve ser integrado nos sistemas existentes, onde passará a fornecer previsões ou informações com base em dados em tempo real.

• Monitorização: A monitorização contínua após a implantação é essencial para garantir que o modelo mantenha um bom desempenho à medida que novos dados se tornam disponíveis e as condições mudam.

A implantação marca a transição do desenvolvimento para a aplicação prática, destacando a sua utilidade no mundo real.

Conclusão

O processo de ML engloba um conjunto de etapas estruturadas que orientam os profissionais desde a recolha inicial de dados até à implantação de modelos preditivos.
Cada etapa — recolha e preparação dos dados, seleção e engenharia de atributos, escolha e treino de modelos, avaliação, ajuste de hiperparâmetros e implantação — desempenha um papel crucial no desenvolvimento de soluções eficazes baseadas em dados.
Ao compreender este processo de forma integrada, os profissionais e estudantes aumentam significativamente a sua capacidade de desenvolver modelos robustos que fornecem informações úteis e acionáveis em múltiplos domínios no mundo atual orientado por dados.