Aprendizado não supervisionado e regras de associação: Descobrindo padrões ocultos nos seus dados!

E aí, concurseiros da tecnologia! Hoje vamos falar sobre um assunto fascinante do aprendizado de máquina: o aprendizado não supervisionado e as tarefas de regras de associação. Se você está se preparando para um concurso público e quer entender como esse assunto é cobrado, você está no lugar certo! Vamos explicar de forma descontraída e detalhada sobre os algoritmos mais comuns, como o Apriori e o Eclat, e trazer exemplos práticos para você se familiarizar com essas tarefas.

O aprendizado não supervisionado é uma abordagem em que o modelo busca descobrir padrões e estruturas nos dados sem a necessidade de rótulos ou categorias prévias. Uma das tarefas mais interessantes nesse contexto é a descoberta de regras de associação, que consiste em identificar relações entre diferentes itens ou variáveis em um conjunto de dados.

Existem vários algoritmos para a descoberta de regras de associação, mas dois dos mais populares são o Apriori e o Eclat. Vamos entender como cada um deles funciona:

O algoritmo Apriori é um método amplamente utilizado na descoberta de regras de associação em conjuntos de dados. Ele funciona em etapas para encontrar conjuntos frequentes de itens e gerar regras a partir desses conjuntos. Aqui está uma visão geral do algoritmo:

• Etapa 1: Geração de conjuntos de um único item (itens frequentes): Nesta etapa, o algoritmo analisa o conjunto de dados e identifica quais itens aparecem com uma frequência maior ou igual a um valor de suporte mínimo definido. Isso é conhecido como itens frequentes ou conjuntos de um único item.
• Etapa 2: Geração de conjuntos de dois itens (pares frequentes): Nesta etapa, o algoritmo combina os itens frequentes encontrados na etapa anterior para formar pares de itens. Em seguida, ele conta a frequência desses pares no conjunto de dados e identifica os pares frequentes.
• Etapa 3 e posteriores: Geração de conjuntos de k itens (k-itemsets frequentes): O algoritmo continua gerando conjuntos de k itens, onde k é um número maior que dois. Ele combina conjuntos frequentes anteriores para formar novos conjuntos e conta a frequência desses conjuntos no conjunto de dados. Esse processo continua até que não seja possível gerar mais conjuntos frequentes.

Após encontrar os conjuntos frequentes, o Apriori usa esses conjuntos para gerar regras de associação. As métricas comuns usadas para avaliar a qualidade das regras geradas são:

• Suporte: mede a proporção de registros que contêm os itens de uma regra específica. Quanto maior o suporte, mais frequente a regra é no conjunto de dados.
• Confiança: mede a probabilidade de que uma regra seja verdadeira. Ela é calculada dividindo o número de registros que contêm tanto o antecedente quanto o consequente da regra pelo número de registros que contêm apenas o antecedente. Quanto maior a confiança, mais forte é a associação entre o antecedente e o consequente.
• Lift: mede o aumento na probabilidade de ocorrência do consequente dado o antecedente, em comparação com sua ocorrência aleatória. O valor do Lift maior que 1 indica uma associação positiva, indicando que a ocorrência do antecedente aumenta a probabilidade do consequente.

Agora, vamos dar um exemplo de utilização do Apriori:

Suponha que temos um conjunto de dados de transações de compras em um supermercado. Queremos identificar associações entre produtos para melhorar a organização da loja e oferecer promoções personalizadas. Usando o algoritmo Apriori, podemos fazer o seguinte:

• Etapa 1: Encontre os itens frequentes. Suponha que um item seja considerado frequente se aparecer em pelo menos 100 das 1000 transações. Após a análise do conjunto de dados, identificamos que “pão” é frequente, pois aparece em 200 transações.
• Etapa 2: Gere pares frequentes. Usando o item “pão” como base, procuramos pares frequentes. Suponha que o par “pão” e “leite” apareça em 150 transações. Portanto, “pão” e “leite” são um par frequente.
• Etapa 3: Gere conjuntos de três itens frequentes. Usando o par “pão” e “leite” como base, procuramos conjuntos de três itens frequentes. Suponha que “pão”, “leite” e “manteiga” apareçam juntos em 100 transações. Portanto, “pão”, “leite” e “manteiga” formam um conjunto de três itens frequente.

Depois de encontrar os conjuntos frequentes, podemos usar as métricas (suporte, confiança e lift) para avaliar as regras de associação geradas. Por exemplo, podemos encontrar a regra “Se um cliente comprar ‘pão’ e ‘leite’, então é provável que compre ‘manteiga'”. Essa regra terá um suporte de 100 transações, uma confiança de 100/150 e um lift maior que 1.

Essa é apenas uma visão geral de como o algoritmo Apriori funciona e como pode ser utilizado. Ele oferece uma maneira poderosa de descobrir associações interessantes em grandes conjuntos de dados. 

O algoritmo Eclat, que significa “Eclat – Equivalence Class Transformation”, é outro método poderoso para descoberta de regras de associação. Ele se baseia na contagem de suporte vertical, que mede a frequência com que um item aparece em diferentes transações. 

O Eclat utiliza a estrutura de dados chamada “árvore de prefixos” para otimizar o processo de busca de conjuntos frequentes. Por exemplo, se tivermos um conjunto de dados de transações de clientes em um site de comércio eletrônico, o Eclat pode identificar que a compra de um smartphone é frequentemente associada à compra de uma capa de proteção, gerando uma regra como “Se um cliente comprar um smartphone, então é provável que compre uma capa de proteção”.

Agora, vamos trazer alguns exemplos práticos para você entender melhor como essas tarefas são aplicadas:

• Supermercado: Não posso deixar de repetir o exemplo do supermercado, porque ele é o mais famoso na área, aparecendo em várias questões de concurso. Imagine um supermercado que deseja entender melhor os padrões de compra dos seus clientes. Utilizando a descoberta de regras de associação, eles podem identificar combinações frequentes de produtos, como “Se um cliente comprar pão e leite, é provável que também compre manteiga”. Com base nisso, o supermercado pode realizar estratégias de marketing direcionadas, como colocar os produtos associados próximos uns dos outros para aumentar as vendas.
• E-commerce: Uma loja online pode usar a descoberta de regras de associação para personalizar as recomendações de produtos. Se um cliente compra um videogame, o algoritmo pode identificar que a compra de controles extras ou jogos populares é comum nesse contexto, sugerindo esses itens como recomendações adicionais.
• Farmacologia: Na área de pesquisa de medicamentos, a descoberta de regras de associação pode ser aplicada para identificar interações entre diferentes substâncias. Isso ajuda a entender quais medicamentos podem ser combinados com segurança e quais combinações devem ser evitadas devido a possíveis efeitos colaterais.

Se você está estudando para um concurso público, é importante compreender os conceitos e aplicações desses algoritmos, pois eles podem ser abordados em questões sobre mineração de dados, aprendizado de máquina e análise de dados.

Espero que esta postagem tenha sido útil para você, concurseiros da tecnologia! Continue acompanhando o blog para mais conteúdos sobre aprendizado de máquina, tecnologia e dicas para seus estudos. Agora vamos às tradicionais resoluções de questões de concurso:

Prova: CESPE / CEBRASPE – 2021 – TCE-RJ – Analista de Controle Externo – Especialidade: Controle Externo

Com relação a noções de mineração de dados e Big Data, julgue o item que se segue.

As regras de associação adotadas em mineração de dados buscam padrões frequentes entre conjuntos de dados e podem ser úteis para caracterizar, por exemplo, hábitos de consumo de clientes: suas preferências são identificadas e em seguida associadas a outros potenciais produtos de seu interesse.

Gabarito: C

Comentários: O item está correto. As regras de associação adotadas na mineração de dados são, de fato, utilizadas para buscar padrões frequentes entre conjuntos de dados. Essas regras podem ser aplicadas para caracterizar diversos aspectos, como os hábitos de consumo de clientes. Ao identificar as preferências dos clientes, as regras de associação podem ser usadas para associar essas preferências a outros potenciais produtos de interesse do cliente.

Dessa forma, as regras de associação podem auxiliar em estratégias de marketing direcionado, recomendações personalizadas e análise de padrões de consumo.

Prova: VUNESP – 2014 – PRODEST-ES – Analista de Tecnologia da Informação – Desenvolvimento de Sistemas

No data mining, uma das formas de se obter conhecimento é por meio das Regras de Associação, que buscam eventuais associações entre 2 determinados produtos, um denominado antecedente e o outro, consequente. Uma medida utilizada nesse tipo de regra é denominada ‘suporte’, que representa

A a fração da população-alvo que satisfaz o antecedente e o consequente.

B a razão entre o produto antecedente e o consequente

C a razão entre o produto consequente e o precedente.

D o número absoluto da população-alvo que satisfaz o antecedente e o consequente

E o número absoluto de produtos do tipo antecedente.

Gabarito: A

Comentários: No contexto das regras de associação no data mining, o suporte é uma medida utilizada para indicar a frequência com que uma determinada associação ocorre em relação à população-alvo ou ao conjunto de dados. Ele representa a proporção ou a fração da população-alvo que satisfaz tanto o antecedente quanto o consequente da regra de associação.

Portanto, a resposta correta é a letra A: a fração da população-alvo que satisfaz o antecedente e o consequente.

Prova: FGV – 2022 – Prefeitura de Manaus – AM – Analista de Banco de ados

A mineração de dados (Data Mining) envolve um conjunto de algoritmos e ferramentas que são utilizados para a exploração de dados.

Assinale o algoritmo/método usado na extração de regras de associação.

A Apriori.

B C4.5

C K-mean.

D Naive Bayes. 

E PageRank.

Gabarito: A

Comentários:

A) Apriori: O algoritmo Apriori é amplamente utilizado na mineração de dados para a extração de regras de associação. Ele busca identificar associações frequentes entre itens em um conjunto de dados, por exemplo, em transações de compras. O Apriori utiliza medidas como suporte, confiança e lift para identificar regras significativas e úteis.

B) C4.5: O C4.5 é um algoritmo utilizado para a construção de árvores de decisão, uma técnica popular na mineração de dados. Ele trabalha com atributos categóricos e contínuos, fazendo divisões recursivas nos dados para criar uma árvore que representa regras de decisão.

C) K-means: O K-means é um algoritmo de agrupamento (clustering) usado para segmentar um conjunto de dados em grupos (clusters) com base em similaridades entre eles. Ele busca formar clusters onde os pontos dentro de cada grupo sejam mais semelhantes entre si do que em relação a outros grupos.

D) Naive Bayes: O Naive Bayes é um algoritmo de classificação probabilística que utiliza o teorema de Bayes para atribuir rótulos a dados não rotulados. É amplamente utilizado em tarefas de classificação, onde se assume independência entre os atributos para simplificar o cálculo das probabilidades condicionais.

E) PageRank: O PageRank é um algoritmo usado para medir a importância e a relevância das páginas da web em relação a uma consulta de busca. Ele é usado em algoritmos de mecanismos de busca, como o Google, para classificar as páginas com base em sua autoridade e popularidade.

Portanto, a resposta correta para a questão é a alternativa A: Apriori, que é um algoritmo usado para a extração de regras de associação na mineração de dados.