Algoritmos avançados de ML, como as redes neurais, conseguem identificar por si próprios os atributos importantes para resolver uma tarefa. Isto alivia-nos da necessidade de pensar tanto na seleção e combinação dos atributos. Este aspeto é particularmente útil quando trabalhamos com dados complexos, como imagens ou texto, em que definir e extrair atributos nem sempre é intuitivo. Estes algoritmos conseguem trabalhar diretamente com dados brutos.

  • O que considera desafiante na recolha de dados no domínio que lhe interessa? Pode ser no desporto, numa disciplina científica, num fenómeno social ou qualquer outro campo.
  • Tem alguma preocupação ou reserva relativamente à recolha e ao tratamento dos dados?
  • O que é mais importante para si pessoalmente no processo de recolha de dados?

Conjuntos de dados populares

Pode parecer surpreendente, mas os conjuntos de dados também podem ser populares! Alguns são conhecidos por terem sido usados nas primeiras tarefas de ML, enquanto outros ganharam popularidade devido ao envolvimento contínuo da comunidade, que os expandiu e complementou.

Como diferentes conjuntos de dados representam diferentes domínios da inteligência artificial, vamos agrupá-los consoante o tipo de dados que contêm: imagens, texto, áudio e vídeo. Muitas bibliotecas usadas em ML facilitam o carregamento rápido e simples destes conjuntos de dados.

Visão computacional

MNIST

Um dos conjuntos de dados mais populares na área da visão computacional é o MNIST, um conjunto de imagens de dígitos manuscritos. O seu desenvolvimento começou em 1998 pelo Instituto Nacional de Normas e Tecnologia dos EUA (National Institute of Standards and Technology, NIST). Todas as imagens têm 28x28 pixels, são a preto e branco, e o conjunto total conta com 70.000 imagens: 60.000 para treino e 10.000 para teste. Na imagem pode ver alguns dos dígitos deste conjunto de dados.


Alguns dos números da conferência MNIST

O conjunto MNIST é utilizado para treinar classificadores multiclasse, frequentemente em combinação com redes neurais convolucionais, sobre as quais irá ouvir mais adiante no curso.

Para cada dígito do conjunto MNIST, existe uma classe atribuída. Pense nos dígitos que podem ser potencialmente difíceis de distinguir (por exemplo, os dígitos 1 e 7 podem parecer-se bastante) e, em seguida, tente encontrar alguns exemplos na internet.

ImageNet

As imagens do conjunto ImageNet representam objetos variados, como computadores, janelas, aviões, plantas, animais tropicais e muitas outras categorias. Curiosamente, estas imagens estão organizadas em grupos relacionados, chamados synsets, que têm uma estrutura hierárquica do tipo pai-filho. Por exemplo, todos os veleiros pertencem a um synset; na hierarquia abaixo deste existem grupos como planadores e trimarãs, enquanto acima há categorias mais gerais como embarcações e veículos.

Na imagem, na linha inferior, pode observar essa hierarquia: na base encontram-se os trimarãs e no topo a categoria “veículo”. Na linha superior, pode ver synsets relacionados com cães e algumas das suas classificações.


Exemplo de uma imagem do ImageNet

A coleção contém atualmente cerca de 14 milhões de imagens e mais de 21.000 sinsets. Ele é usado em uma variedade de tarefas de classificação de imagem e deteção de objetos em imagens.

 O site oficial da conferência ImageNet é   https://www.image-net.org/index.php  . Pesquisadores das universidades de Stanford e Princeton estão trabalhando ativamente no seu desenvolvimento.

Tente descobrir a qual grupo um computador pertence no conjunto ImageNet e quais grupos estão na hierarquia abaixo e acima

COCO

 O  conjunto de dados  COCO  (acrônimo para Common Objects in Context  ) é usado em tarefas de deteção de objetos, segmentação de imagens e associação automática de títulos a imagens. Foi criado pela Microsoft e partilhado com a comunidade em 2015.


Uma imagem do conjunto COCO com objetos reconhecidos marcados: aviões, caminhões e carros

 O conjunto pode ser visto interativamente no site oficial: para cada imagem há um URL a partir do qual a imagem foi tirada, vários títulos associados à imagem e, em seguida, uma série de ícones correspondentes aos objetos reconhecidos. O número de imagens no conjunto de dados é de 330.000 e contém 80 categorias de objetos com mais de 1,5 milhão de instâncias. O link para a seção de pesquisa no site é https://cocodataset.org/#explore .

Processamento de Linguagem Natural

IMDB

 Se gosta de assistir filmes e programas de TV, estará interessado no  conjunto de dados  IMDB  , que contém comentários de usuários da popular plataforma IMDB. Para cada ponto de vista neste conjunto de dados, sabe-se também se é positivo ou negativo, ou seja, se contém principalmente algo louvável e bom sobre o filme ou alguma crítica e objeção. Quando se trata de conjuntos de dados que contêm conteúdo textual, é sempre importante enfatizar em qual idioma eles são escritos. O conjunto de dados do IMDB contém visualizações em inglês com um total de 50.000 visualizações, 25.000 visualizações positivas e 25.000 negativas. Abaixo você pode ver uma entrada positiva e uma negativa neste conjunto de dados.

Review

Sentiment
(0-negative,
1-positive)
 0
 1

Exemplos de avaliações positivas e negativas do conjunto IMDB

O conjunto de dados IMDB é usado em tarefas de análise de sentimento - lembre-se que estas são tarefas em que é necessário reconhecer uma emoção ou atitude presente no texto. Uma vez que o conjunto contém apenas informações se a revisão é positiva ou negativa, a tarefa de análise de sentimento no conjunto IMDB é abordada como um problema de classificação binária. Em geral, a escala de sentimento pode ser mais fina e inclui classificações como muito positivas, positivas, neutras, negativas ou muito negativas.

Processamento de som

Conjunto de áudio

 Um AudioSet   é um conjunto de dados que contém trechos de 10 segundos de vídeo do YouTube. Cada um desses trechos está associado às características dos sons ouvidos neles. O conjunto foi criado pelo Google e contém mais de 2 milhões de clipes com duração total de 5,8 mil horas.


Um exemplo de um clipe de vídeo com as anotações de áudio associadas que contém

 O site oficial da conferência fornece uma visão geral de exemplos e informações sobre a organização da conferência. São utilizadas 632 categorias diferentes, tais como os sons dos instrumentos musicais, o som do vento, o som do homem, o ruído, etc. Pode visitar a morada https://research.google.com/audioset/index.html e ouvir mais alguns exemplos. A conferência em si foi criada com a ideia de apoiar o desenvolvimento de algoritmos de reconhecimento de som.

Processamento de vídeo

Momentos no Tempo

 Moments in Time   é um conjunto de dados que está a ser desenvolvido com a ideia de ajudar os sistemas de inteligência artificial a aprender a reconhecer ações e eventos. Este conjunto contém atualmente um milhão de vídeos de 3 segundos de duração em que as atividades são marcadas. Os vídeos contêm pessoas, animais, objetos e fenômenos naturais. Apenas alguns dos eventos que são cobertos são dança, exercício, subir em uma árvore, pular na água e dormir.

 O encontro Moments in Time está a ser desenvolvido por uma equipa do Massachusetts Institute of Technology (MIT) e no site oficial do projeto pode ver mais alguns exemplos de vídeos e ações reconhecidas. O link para o site oficial é http://moments.csail.mit.edu/ .


Um vídeo em que se reconhece que um homem alimenta um coelho

Last modified: Tuesday, 22 July 2025, 12:44 PM