Exercício 9: Validação

Aqui está um exercício simples do Jupyter Notebook para os alunos aprenderem sobre a validação de modelos. Este exercício irá guiá-los através do carregamento de um conjunto de dados, treinamento de um modelo e uso de validação cruzada para avaliar seu desempenho.

Exercício: Validação do modelo usando validação cruzada

Objetivo:Carregar um conjunto de dados. Treine um modelo. Use a validação cruzada para avaliar o desempenho do modelo.

Pré-requisitos:Instale a biblioteca scikit-learn. Use um conjunto de dados simples como o conjunto de dados Iris.

Etapa 1: Instalar as bibliotecas necessárias:

%pip install scikit-learn

Etapa 2: Importar bibliotecas:

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.linear_model import LogisticRegression

Etapa 3: Carregue o conjunto de dados:

# Load the Iris dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

Etapa 4: dividir o conjunto de dados:

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

Passo 5: Treinar o modelo:

# Initialize and train the logistic regression model
model = LogisticRegression(max_iter=200)
model.fit(X_train, y_train)

Passo 6: Faça previsões:

# Perform cross-validation
scores = cross_val_score(model, X, y, cv=5)

print(f'Cross-Validation Scores: {scores}')
print(f'Mean Cross-Validation Score: {scores.mean()}')

Etapa 7: Visualizar pontuações de validação cruzada:

# Visualize the cross-validation scores
plt.figure(figsize=(10, 6))
plt.plot(range(1, len(scores) + 1), scores, marker='o', linestyle='--')
plt.title('Cross-Validation Scores')
plt.xlabel('Fold')
plt.ylabel('Accuracy')
plt.ylim(0, 1)
plt.grid(True)
plt.show()

Instruções para Estudantes:

1. Siga os passos para instalar as bibliotecas necessárias e carregar o conjunto de dados.
2. Treinar o modelo de regressão logística e avaliar seu desempenho por meio de validação cruzada.
3. Modifique o código para usar modelos ou conjuntos de dados diferentes.
4. Explore o impacto de diferentes estratégias de validação cruzada (por exemplo, diferentes números de dobras).