Aprendizado Não Supervisionado
2026-10-13
O Que Construímos na Parte 2
A Pergunta Fundamental da Aula 9
Contar co-ocorrências e extrair regras empíricas de “se comprou \(A\), compra \(B\)” é suficiente para modelar a realidade, ou métricas tradicionais como o Lift são cegas a variáveis de confusão latentes?
O Paradigma Heurístico vs. O Paradigma Gráfico
O Poder da \(d\)-Separação (Pearl, 1988)
A geometria do grafo dita exatamente como a informação flui. Condicionar em uma causa comum dissipa correlações espúrias; condicionar em um colisor induz dependência (explaining away).
O Caso Empírico das \(10.000\) Transações
Avaliando a associação entre Café Gourmet (\(A\)) e Torradeira (\(B\)): - \(P(A) \approx 0{,}24\), \(P(B) \approx 0{,}18\), \(P(A \cap B) \approx 0{,}116\). - \(\text{Lift}(A \Rightarrow B) \approx \frac{0{,}116}{0{,}24 \times 0{,}18} \approx \mathbf{2{,}69}\).
O Paradoxo de Simpson em Regras de Associação
A associação de \(2{,}69\) é puramente espúria. Café e torradeira nunca interagiram: ambos são efeitos independentes da causa comum \(C\).
O Superconjunto e o Suporte
Se um conjunto de 3 produtos \(\{Caf\acute{e}, Leite, P\tilde{a}o\}\) possui suporte medido de \(15\%\) em uma base de 1 milhão de transações, o que podemos deduzir com certeza matemática absoluta sobre o suporte do par \(\{Caf\acute{e}, P\tilde{a}o\}\) e do quarteto \(\{Caf\acute{e}, Leite, P\tilde{a}o, Manteiga\}\)?
Dica para conduzir: Pense na probabilidade da interseção de conjuntos de eventos aleatórios. O que acontece com a probabilidade quando acrescentamos restrições adicionais?
V ou F: Métricas de Regras de Associação
Julgue V ou F — a questão só conta se acertar os 4 itens:
V ou F: Resposta
Voltando à pergunta: O suporte de \(\{Caf\acute{e}, P\tilde{a}o\}\) deve ser pelo menos \(15\%\) (\(s \ge 0{,}15\)), e o do quarteto \(\{Caf\acute{e}, Leite, P\tilde{a}o, Manteiga\}\) pode ser no máximo \(15\%\) (\(s \le 0{,}15\)). Adicionar itens restringe a probabilidade da interseção. Essa antimonotonicidade é a chave da poda do Apriori.
Definição: Transações e Suporte (ESL §14.2)
Teorema: Antimonotonicidade do Suporte
Para quaisquer itemsets \(A\) e \(B\): \[A \subseteq B \implies s(B) \le s(A)\] - Regra de Poda do Apriori: Se \(s(A) < s_{\min}\), nenhum superconjunto \(B \supseteq A\) pode ser frequente.
Métricas da Regra \(A \Rightarrow B\)
A Falácia da Simetria do Lift
\[\text{Lift}(A \Rightarrow B) \equiv \text{Lift}(B \Rightarrow A)\] O Lift é incapaz de codificar direcionalidade. Uma regra \(A \Rightarrow B\) com Lift elevado pode ter confiança assimétrica dramática (\(90\%\) em um sentido e \(5\%\) no outro), e é cega a confundidores latentes.
O Paradoxo da Regra Simétrica
Uma drogaria descobre que a regra \(\{Fraldas\} \Rightarrow \{Cerveja\}\) possui \(\text{Lift} = 2{,}5\), e a regra inversa \(\{Cerveja\} \Rightarrow \{Fraldas\}\) possui exatamente o mesmo \(\text{Lift} = 2{,}5\). O que a igualdade estrita desses valores revela sobre a capacidade do Lift de indicar direcionalidade causal? Se a variável oculta \(\{Sexta\text{-}feira\ \grave{a}\ tarde\}\) duplicar as vendas de ambos os itens de forma independente, o que acontece com a dependência real entre eles?
V ou F: Propriedades do Lift e Confounding
Julgue V ou F — a questão só conta se acertar os 4 itens:
V ou F: Resposta
Voltando à pergunta: A igualdade \(\text{Lift}(A \Rightarrow B) = \text{Lift}(B \Rightarrow A)\) reflete a comutatividade da interseção, provando que o Lift não carrega direcionalidade. Se a causa comum \(\{Sexta\text{-}feira\}\) inflar ambos os itens de forma não correlacionada internamente, o Lift na base agregada será artificialmente elevado (\(> 1\)), mas a dependência real condicional será nula (\(\text{Lift} = 1\)).
Da Regra da Cadeia à Fatoração em Grafos
Fatoração de uma Rede Bayesiana (PRML §8.1.1)
Sob um Grafo Acíclico Direcionado (DAG), cada variável depende apenas dos seus pais imediatos \(\text{pa}_k\): \[p(x_1, \dots, x_K) = \prod_{k=1}^K p(x_k \mid \text{pa}_k)\]
O Custo do Catálogo Completo
Considere um conjunto de \(K=10\) produtos binários em um supermercado. Quantos números livres seriam necessários para especificar a distribuição conjunta completa \(p(x_1, \dots, x_{10})\) sem nenhuma hipótese de independência? Se organizarmos esses itens em uma Rede Bayesiana onde cada produto tem no máximo 2 pais, quantos parâmetros tornam-se suficientes?
V ou F: Redes Bayesianas e Grafos
Julgue V ou F — a questão só conta se acertar os 4 itens:
V ou F: Resposta
Voltando à pergunta: Sem simplificações, precisamos de \(2^{10} - 1 = 1023\) parâmetros livres. Na Rede Bayesiana com no máximo 2 pais por nó, cada nó exige no máximo \(2^2 = 4\) parâmetros livres, totalizando no máximo \(10 \times 4 = 40\) parâmetros (redução de mais de \(96\%\)).
O Conceito de Independência Condicional (PRML §8.2)
\[A \perp\!\!\!\perp B \mid C \iff p(A, B \mid C) = p(A \mid C)p(B \mid C) \iff p(A \mid B, C) = p(A \mid C)\] - Saber o valor de \(B\) não altera em nada o conhecimento sobre \(A\), uma vez que \(C\) já é conhecido.
Estrutura 1: Cadeia (Head-to-tail) — \(A \to B \to C\)
Estrutura 2: Causa Comum (Tail-to-tail) — \(A \leftarrow B \to C\)
Estrutura 3: Colisor (Head-to-head) — \(A \to C \leftarrow B\)
A Inversão do Colisor: Explaining Away
O Regador e a Chuva
Considere as variáveis \(A\) (Choveu), \(B\) (Regador automático ligou) e \(C\) (Grama está molhada). A física dita que \(A\) e \(B\) ocorrem de forma independente (\(A \perp\!\!\!\perp B\)). Se você olhar pela janela e vir a grama molhada (\(C=1\)), e logo depois souber que o regador ligou com certeza (\(B=1\)), o que acontece com a probabilidade de que tenha chovido (\(A=1\))?
V ou F: As Geometrias Canônicas
Julgue V ou F — a questão só conta se acertar os 4 itens:
V ou F: Resposta
Voltando à pergunta: A certeza de que o regador ligou (\(B=1\)) “explica e afasta” (explains away) a evidência de que a grama está molhada, reduzindo a probabilidade a posteriori de chuva (\(P(A=1 \mid C=1, B=1) < P(A=1 \mid C=1)\)). É a assinatura matemática do colisor.
O Critério de \(d\)-Separação (Pearl, 1988; PRML §8.2.2)
Um caminho entre \(A\) e \(B\) está bloqueado por \(C\) se contiver: 1. Um nó não colisor (\(\to m \to\) ou \(\leftarrow m \to\)) que está em \(C\); OU 2. Um colisor (\(\to m \leftarrow\)) tal que nem \(m\) nem seus descendentes estão em \(C\).
Cobertura de Markov (Markov Blanket)
Menor conjunto que isola completamente um nó \(X_i\) do restante do grafo: \[\text{MB}(X_i) = \text{pais}(X_i) \cup \text{filhos}(X_i) \cup \text{co-pais}(X_i)\] Os co-pais são obrigatórios para bloquear os colisores abertos pelos nós filhos.
O Limite Epistemológico dos Dados Observacionais
Teorema de I-Equivalência (Verma & Pearl, 1990)
Dois DAGs pertencem à mesma classe de equivalência de Markov se e somente se: 1. Compartilham o mesmo esqueleto não direcionado; E 2. Compartilham as mesmas v-structures (colisores \(A \to C \leftarrow B\)).
O CPDAG (Grafo Essencial)
Algoritmos puramente observacionais orientam apenas as v-structures. Cadeias e bifurcações ficam como arestas não orientadas (\(A - B - C\)), exigindo suposições prévias de temporalidade ou intervenções causais ativas.
O Limite da Observação Passiva
Suponha que, analisando 500 mil transações de varejo com os itens \(A\), \(B\) e \(C\), seus testes estatísticos comprovem que \(A \perp\!\!\!\perp C \mid B\), e nenhuma outra independência exista. É viável determinar apenas com os dados e sem fazer intervenções de preços se o modelo correto é \(A \to B \to C\) ou \(A \leftarrow B \to C\)? O que isso nos ensina sobre mineração de dados não supervisionada?
V ou F: d-Separação e Equivalência
Julgue V ou F — a questão só conta se acertar os 4 itens:
V ou F: Resposta
Voltando à pergunta: É impossível distinguir \(A \to B \to C\) de \(A \leftarrow B \to C\) apenas com dados observacionais, pois ambos pertencem à mesma classe de equivalência de Markov. Para desvendar a seta, é indispensável informação a priori (como ordem temporal de checkout) ou uma intervenção causal ativa.
1. Suporte é probabilidade conjunta empírica; antimonotonicidade (\(A \subseteq B \implies s(B) \le s(A)\)) permite a poda exponencial do Apriori.
2. O Lift é simétrico (\(\text{Lift}(A \Rightarrow B) \equiv \text{Lift}(B \Rightarrow A)\)) e vulnerável ao Paradoxo de Simpson por causas comuns latentes.
3. Redes Bayesianas fatoram a conjunta como \(p(\mathbf{x}) = \prod_k p(x_k \mid \text{pa}_k)\), reduzindo os parâmetros de \(2^K\) para \(O(K \cdot 2^m)\).
4. Cadeia e Causa Comum são bloqueadas pelo nó intermediário; Colisores são abertos pelo condicionamento no efeito comum (explaining away).
5. \(d\)-Separação formaliza o bloqueio de caminhos gerais. Classes de equivalência de Markov (mesmo esqueleto e v-structures) limitam a descoberta causal em dados observacionais.
Ponte para a Aula 10
UNICAMP — Instituto de Computação