Aprendizado não supervisionado e tarefas de agrupamento: Desbravando os segredos da classificação automática!

E aí, concurseiros da tecnologia! Hoje vamos mergulhar em um tema essencial para entender o aprendizado de máquina: o aprendizado não supervisionado e as tarefas de agrupamento. Se você está se preparando para um concurso público e quer entender como esse assunto é cobrado, vamos descomplicar tudo para você de forma mais descontraída e leve.

O aprendizado não supervisionado é uma abordagem em que o modelo de machine learning não recebe informações explícitas sobre as classes ou categorias dos dados. Em vez disso, ele busca encontrar padrões e estruturas intrínsecas nos dados de forma autônoma. E uma das tarefas mais interessantes nesse contexto é o agrupamento, que consiste em organizar os dados em grupos ou clusters, levando em consideração suas similaridades.

Vamos começar com os dois principais métodos de agrupamento: particionamento e hierarquização.

Nos métodos de particionamento, os algoritmos tentam dividir os dados em um número fixo de clusters. Um exemplo popular é o algoritmo K-means, que agrupa os dados em k clusters. Digamos que você tenha informações sobre clientes de uma loja online. Usando o K-means, você pode agrupá-los com base em suas preferências de compra, identificando grupos de clientes com comportamentos semelhantes.

Já nos métodos de Hierarquização, os algoritmos criam uma estrutura hierárquica de clusters. Um exemplo é o Hierarchical Clustering, que organiza os dados em uma árvore de clusters. Imagine que você tenha um conjunto de documentos. O Hierarchical Clustering pode ajudar a agrupá-los em temas gerais e subtemas mais específicos, criando uma hierarquia de agrupamentos.

O K-means é, de longe, o algoritmo de agrupamento mais famoso e, por consequência, o mais cobrado em concursos públicos. Ele tem como objetivo dividir um conjunto de dados em k clusters, onde k é um número definido previamente pelo usuário. O algoritmo funciona da seguinte forma:

• Passo inicial: O usuário escolhe o valor de k, que representa o número de clusters desejado. Em seguida, são selecionados aleatoriamente k pontos do conjunto de dados como centros iniciais dos clusters.
• Atribuição de pontos aos clusters: Cada ponto de dado é atribuído ao cluster cujo centro está mais próximo. A distância entre um ponto e o centro de um cluster geralmente é calculada usando a distância euclidiana.
• Atualização dos centros dos clusters: Os centros dos clusters são atualizados para a média dos pontos atribuídos a cada cluster. Isso significa que os centros são recalculados a partir dos pontos que pertencem a cada cluster.
• Repetição dos passos 2 e 3: Os passos 2 e 3 são repetidos iterativamente até que não haja mais alterações nas atribuições dos pontos aos clusters, ou seja, até que os centros dos clusters não se movam significativamente.

O objetivo do K-means é minimizar a variância dentro dos clusters, ou seja, buscar agrupamentos onde os pontos dentro de cada cluster sejam similares entre si e diferentes dos pontos de outros clusters.

Vamos dar um exemplo prático para ilustrar como o algoritmo K-means funciona:

Suponha que temos um conjunto de dados com informações sobre clientes de uma loja online. Queremos agrupar esses clientes em três clusters com base em seus padrões de compra: conservadores, moderados e extravagantes.

• Passo inicial: Escolhemos k=3 e selecionamos aleatoriamente três pontos do conjunto de dados como centros iniciais dos clusters.
• Atribuição de pontos aos clusters: Calculamos a distância de cada cliente aos três centros dos clusters e atribuímos cada cliente ao cluster cujo centro está mais próximo.
• Atualização dos centros dos clusters: Calculamos a média dos clientes em cada cluster e atualizamos os centros dos clusters com esses valores.
• Repetição dos passos 2 e 3: Repetimos os passos 2 e 3 até que a atribuição dos pontos aos clusters não mude ou até que atinjamos um número máximo de iterações definido previamente.

Após a convergência do algoritmo, teremos três clusters com os clientes agrupados de acordo com seus padrões de compra.

É importante ressaltar que o resultado final do K-means pode variar dependendo das inicializações aleatórias dos centros dos clusters. Portanto, é recomendado executar o algoritmo várias vezes e escolher o resultado com a melhor qualidade.

O K-means é um algoritmo simples e eficiente, amplamente utilizado em tarefas de agrupamento. Ele pode ser aplicado em diversos domínios, como segmentação de clientes, análise de mercado, reconhecimento de padrões, entre outros.

Falando um pouco dos outros algoritmos usados em tarefas de agrupamento:

• DBSCAN: esse é um algoritmo muito útil para encontrar regiões densas de dados em espaços de alta dimensionalidade. Digamos que você tenha um conjunto de dados geográficos representando pontos turísticos em uma cidade. O DBSCAN pode ajudar a identificar áreas com maior concentração de pontos turísticos, indicando os locais mais populares.
• Mean Shift: esse algoritmo é usado para encontrar os chamados “modos” dos dados, que são regiões com alta densidade. Ele funciona movendo um kernel suavizado sobre o conjunto de dados, buscando maximizar a densidade em torno do kernel. Por exemplo, você pode aplicar o Mean Shift para identificar centros urbanos com base em dados de população e infraestrutura.
• Gaussian Mixture Models (GMM): esse algoritmo assume que os dados são gerados a partir de uma mistura de distribuições gaussianas. Ele estima os parâmetros das distribuições e atribui pontos aos clusters correspondentes. Você pode aplicar o GMM para identificar grupos de consumidores com base em seus padrões de compra, levando em consideração diferentes características, como idade, renda e preferências.
• Agglomerative Clustering: esse é um algoritmo de hierarquização que começa com cada ponto como um cluster separado e, em seguida, mescla os clusters mais próximos uns aos outros até formar um único cluster. Você pode usar o Agglomerative Clustering para agrupar documentos de acordo com suas semelhanças de conteúdo, criando uma estrutura hierárquica de temas.

Esses são apenas alguns exemplos dos algoritmos mais comuns para tarefas de agrupamento. Cada um deles tem suas características e aplicações específicas, e a escolha do algoritmo certo dependerá do contexto e dos objetivos do problema que você está enfrentando.

Agora que você está por dentro desse assunto, fica mais fácil entender como esses conceitos são cobrados em concursos públicos. 

Espero que este post tenha ajudado a clarear as ideias, concurseiros da tecnologia! Continue acompanhando o blog para mais conteúdos sobre aprendizado de máquina e tecnologia em geral. E antes de terminar, vamos resolver algumas questões de concurso:

Prova: CESPE / CEBRASPE – 2021 – Polícia Federal – Escrivão de Polícia Federal 

Acerca dos conceitos de mineração de dados, aprendizado de máquina e bigdata, julgue o próximo item.

A análise de clustering é uma tarefa que consiste em agrupar um conjunto de objetos de tal forma que estes, juntos no mesmo grupo, sejam mais semelhantes entre si que em outros grupos.

Gabarito: C

Comentários: O item está correto. A análise de clustering é de fato uma tarefa que envolve agrupar um conjunto de objetos de forma que os objetos dentro de um mesmo grupo sejam mais semelhantes entre si do que em relação aos objetos de outros grupos. Essa tarefa tem como objetivo identificar padrões e estruturas nos dados, buscando organizar os objetos em clusters com base em suas similaridades. 

A análise de clustering é uma técnica comumente utilizada na mineração de dados e no aprendizado de máquina para explorar os dados e identificar grupos ou segmentos relevantes.

Prova: CESPE – 2013 – SERPRO – Programador de computador

Julgue os itens que se seguem à luz dos conceitos básicos de datamining e datawarehouse.

Em algoritmos de clusterização hierárquica, os clusters são formados gradativamente por meio de aglomerações ou divisões de elementos, gerando uma hierarquia de clusters.

Gabarito: C

Comentários: O item está correto. Em algoritmos de clusterização hierárquica, os clusters são formados gradativamente através de aglomerações ou divisões de elementos, resultando em uma estrutura hierárquica de clusters. Esse tipo de algoritmo constrói uma árvore de clusters, onde os elementos são agrupados em níveis diferentes de granularidade. 

A clusterização hierárquica pode ser aglomerativa, iniciando com cada elemento como um cluster separado e mesclando clusters semelhantes, ou divisiva, começando com todos os elementos em um único cluster e dividindo-os em clusters menores. 

A formação de uma hierarquia de clusters permite explorar diferentes níveis de detalhamento nos agrupamentos e pode ser útil na análise de dados e na identificação de estruturas hierárquicas em conjuntos de dados.

Prova: CESPE – 2017 – TCE-PE – Analista de Controle Externo – Auditoria de Contas Públicas

Em relação à análise de agrupamentos (clusterização) em mineração de dados, julgue o item seguinte.

O método de clustering k-means objetiva particionar ‘n’ observações entre ‘k’ grupos; cada observação pertence ao grupo mais próximo da média.

Gabarito: C

Comentários: O item está correto. O método de clustering k-means tem como objetivo particionar ‘n’ observações em ‘k’ grupos, onde cada observação é atribuída ao grupo cuja média é a mais próxima. 

O algoritmo calcula a distância entre cada observação e os centros dos grupos e atribui a observação ao grupo cujo centro está mais próximo. Em seguida, os centros dos grupos são atualizados com base nas observações atribuídas a cada grupo, e o processo é repetido iterativamente até que não haja mais alterações nas atribuições dos pontos aos grupos. Dessa forma, o k-means busca formar grupos onde as observações dentro de cada grupo sejam mais semelhantes entre si, com base nas distâncias em relação às médias dos grupos.