Soluções — Aula 6: Dados, Viés e Discriminação Algorítmica — Da Coleta à LGPD

Computação e Sociedade

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Teste 1 — Fontes de dado e reaproveitamento

Dado administrativo é o dado registrado por uma organização em suas operações rotineiras, por razões não estatísticas (por exemplo, os sinistros pagos por uma seguradora). Modelos de fundação são grandes modelos pré-treinados em enormes conjuntos de dados genéricos e depois ajustados (fine-tuned) a um problema específico.

□ Se um hospital registrasse, em suas operações rotineiras, diretamente a gravidade clínica de cada paciente, e não apenas os custos do atendimento, o descompasso entre o rótulo de que um modelo de triagem precisa (“quem precisa de mais cuidado”) e o dado administrativo disponível deixaria de existir para esse rótulo.
□ No limite em que um conjunto de dados administrativo tenha um número muito grande de registros, o descompasso entre o propósito original do dado e o problema do modelo desaparece, porque o grande volume compensa o uso de proxies.
□ Um classificador de radiografias foi obtido ajustando (fine-tuning) um modelo pré-treinado em um enorme conjunto de fotos da internet. Para avaliar o viés do sistema, basta auditar o conjunto de radiografias usado no ajuste fino, pois o conjunto genérico serviu apenas de ponto de partida.
□ Mesmo um conjunto de dados coletado com propósito estatístico, como um censo nacional, pode conter viés, por exemplo por não resposta de parte da população.

(Resposta) Teste 1 — Fontes de dado e reaproveitamento

✔ Verdadeiro — O descompasso do dado administrativo nasce de o registro existir para outro fim (cobrança) e só oferecer um proxy (custo) do rótulo desejado (necessidade). Se a gravidade fosse registrada diretamente, o rótulo desejado estaria no dado e o proxy não seria mais necessário. Errar esse item é achar que o descompasso é uma propriedade inevitável de todo dado administrativo, em vez de uma propriedade da relação entre o que foi registrado e o que o modelo precisa.
✗ Falso — Volume não corrige propósito. Mais registros de um proxy enviesado reforçam o viés em vez de diluí-lo: o custo continua medindo utilização, não necessidade, para cada um dos milhões de pacientes. Quem marca Verdadeiro trata o viés como ruído aleatório, que a média compensa, quando ele é sistemático.
✗ Falso — Os vieses do conjunto de fundo são herdados pelo modelo ajustado, por causa do aprendizado de representações opaco e incontrolável. Com dados semiestruturados (imagens, texto) é preciso avaliar o conjunto específico do problema e o conjunto de fundo. Quem marca Verdadeiro supõe que o ajuste fino apaga o que o pré-treino aprendeu.
✔ Verdadeiro — Dados coletados com propósito têm aparência de “limpos”, mas não estão imunes a não resposta e a manipulação. O propósito estatístico reduz o descompasso de propósito, não elimina os vieses de amostragem. Errar esse item é confundir “desenhado para estatística” com “livre de viés”.

Teste 2 — Quatro espaços, validades e vieses

Um modelo descreve o caminho do dado por quatro espaços: construto (ideal, não observado), observado (atributos e rótulos medidos), bruto (amostra coletada de uma população) e preparado (dado final, depois da limpeza). As passagens são a medição, a amostragem e a preparação. Três validades: de construto (o dado mede o que deveria?), externa (a análise generaliza para outras populações?) e interna (há erros no processamento?).

□ Se o rótulo de um modelo de triagem de saúde foi medido corretamente, mas a amostra de treino inclui apenas pacientes de uma única região, o problema resultante ameaça a validade externa, não a validade de construto.
□ No limite em que a amostra coincida exatamente com a população-alvo, sem nenhuma ausência, todos os vieses do modelo de quatro espaços ficam eliminados.
□ Um detector de spam treinado com e-mails de 2020 e usado em 2026, depois que o padrão das mensagens mudou, sofre principalmente de viés temporal, que ameaça a validade externa.
□ Envenenamento de dados e viés social são o mesmo tipo de problema, pois ambos introduzem rótulos incorretos; a única diferença é se o responsável pelo rótulo é humano ou automático.

(Resposta) Teste 2 — Quatro espaços, validades e vieses

✔ Verdadeiro — O rótulo mede o que deveria (construto preservado), mas a amostra não representa a população em que o modelo será usado: é uma falha da passagem de amostragem, que ameaça a validade externa. O erro é atribuir tudo a “dado ruim” sem separar o que falha: medir a coisa errada (construto) é diferente de medir a coisa certa na população errada (externa).
✗ Falso — Cobertura perfeita elimina o viés de representação, mas não o social (o julgamento humano dos rótulos e atributos), o de preparação (limpeza, rótulos-proxy) nem o envenenamento. Cada viés entra em uma passagem própria; corrigir uma passagem não corrige as outras.
✔ Verdadeiro — O viés temporal ocorre quando o dado coletado sai de sincronia com o mundo por deslocamento ou deriva ao longo do tempo (deslocamento das covariáveis, das probabilidades a priori ou deriva de conceito), e ameaça a validade externa. O erro é tratar o mundo como estático depois da coleta.
✗ Falso — O viés social vem de vieses cognitivos humanos na medição e ameaça a validade de construto; o envenenamento é a introdução intencional de dados por um adversário, na preparação, e ameaça a validade interna. Diferem em passagem, em causa e em validade ameaçada, não só em quem rotula.

Teste 3 — Viés social e viés de representação

Viés social é o que entra na medição, quando julgamentos humanos (de especialistas ou de trabalhadores de crowdsourcing) traduzem o construto em rótulos e atributos. Viés de representação é o que entra na amostragem, quando a amostra não representa a população sobre a qual se quer decidir; inclui diferenças sistemáticas na qualidade dos dados, não só na quantidade.

□ Se trabalhadores de crowdsourcing que rotulam telhados em imagens de satélite conhecessem a organização das casas na região (por exemplo, cozinhas e alojamentos separados da casa principal), o erro de rotulagem que infla a estimativa de pobreza poderia ser evitado sem alterar nenhuma imagem.
□ No limite em que um grupo represente apenas 1% da base de treino e o modelo otimize uma métrica média de desempenho, errar sistematicamente nesse grupo tem custo quase desprezível na métrica global, o que leva o modelo a ignorar as características especiais do grupo.
□ Um teste de proficiência, usado como atributo em um modelo de seleção, exige conhecimento cultural tácito que nem todos os candidatos têm. Esse é um problema de amostragem, resolvido coletando mais candidatos dos grupos sub-representados.
□ A representatividade de um conjunto de dados é apenas uma questão de contar quantos pontos de cada grupo existem; se cada grupo aparece em proporção adequada, o conjunto é representativo.

(Resposta) Teste 3 — Viés social e viés de representação

✔ Verdadeiro — O erro está no construto (“o que é uma casa”) e na tradução dele pelos rotuladores, não nas imagens. Dar o contexto aos rotuladores (ou usar informantes locais) corrige o rótulo sem tocar no dado de satélite. Errar é localizar o problema no sensor em vez de na medição.
✔ Verdadeiro — É o mecanismo descrito para o viés de representação: um grupo sub-representado pesa pouco na média, então o modelo pode “ignorar suas características especiais” para satisfazer uma métrica média. Errar é supor que uma boa métrica média implica bom desempenho em cada subgrupo.
✗ Falso — É um problema de viés social no atributo (medição): o teste não representa bem a aptidão real de quem não tem o conhecimento cultural exigido. Coletar mais candidatos não muda o que o atributo mede; seria preciso repensar o atributo. Errar é confundir “quantos” com “o que se mede”.
✗ Falso — Representatividade inclui diferenças sistemáticas de qualidade: um grupo pode ter o número certo de registros e, ainda assim, registros piores (mais campos ausentes, medições menos precisas, subcontagem de censo). Contagem é condição necessária, não suficiente.

Teste 4 — Viés temporal e viés de preparação

Três tipos de mudança do mundo depois da coleta: deslocamento das covariáveis (muda a distribuição dos atributos), deslocamento da probabilidade a priori (muda a distribuição dos rótulos) e deriva de conceito (muda a relação entre rótulos e atributos). O viés de preparação é o que entra quando escolhas de limpeza, agregação ou definição de rótulos introduzem viés novo.

□ Num modelo de crédito, se a distribuição de renda dos clientes muda depois de uma crise, mas a relação entre renda e inadimplência permanece a mesma, houve deslocamento das covariáveis, e não deriva de conceito.
□ No limite em que apenas 1% das linhas de um conjunto tenha valor ausente, descartar essas linhas não pode introduzir viés relevante, mesmo que a ausência esteja concentrada em um grupo específico.
□ Um modelo de detecção de fraude em pagamentos usa como rótulo “fraude confirmada por investigação”, mas o banco só investiga transações acima de um certo valor. Esse rótulo é um proxy que pode introduzir viés de preparação, porque fraudes de pequeno valor nunca chegam a ser rotuladas.
□ Como o viés de preparação é introduzido por escolhas técnicas de rotina, como descartar linhas incompletas, ele é sempre neutro do ponto de vista dos grupos afetados.

(Resposta) Teste 4 — Viés temporal e viés de preparação

✔ Verdadeiro — A distribuição dos atributos (renda) mudou; a relação condicional rótulo-dado-atributos (renda → inadimplência) não. Essa é justamente a definição de deslocamento das covariáveis em contraste com a deriva de conceito. Errar é tratar toda mudança temporal como a mesma coisa.
✗ Falso — A proporção global não diz nada sobre a proporção dentro do grupo: se o grupo é pequeno e concentra as ausências, o descarte pode remover uma fração grande dele do conjunto de treino. O viés de preparação depende da correlação entre a ausência e o grupo, não do total descartado.
✔ Verdadeiro — É o mesmo mecanismo de “prisões como proxy de crime”: o rótulo depende do processo que o produz (o que é investigado), não só do fenômeno. Usar o registro do processo como rótulo desloca o que o modelo aprende. Errar é tratar o rótulo como observação neutra do fenômeno.
✗ Falso — Justamente por ser rotina, passa despercebido; mas a neutralidade depende de a ausência ser independente do grupo. Se a ausência de um atributo (por exemplo, dívida) for mais frequente para certos grupos, o descarte remove desproporcionalmente esses grupos e cria viés novo.

Teste 5 — Proxies e discriminação indireta

Um atributo protegido é um atributo (como raça, gênero, religião, idade) que leis ou políticas de um domínio e de uma jurisdição determinam como base de proteção contra discriminação. Um proxy é uma variável aparentemente neutra que carrega informação estatística sobre outra (por exemplo, um atributo protegido). Chama-se discriminação indireta o resultado desfavorável a um grupo obtido sem usar o atributo que o define.

□ Um banco remove as colunas “raça” e “CEP” de um modelo de crédito, mas mantém a coluna “escola de ensino médio frequentada” em uma cidade em que as escolas são segregadas por raça. O risco de discriminação indireta permanece.
□ No limite em que uma coluna seja uma cópia codificada exata do atributo protegido, o modelo consegue reproduzir o tratamento diferenciado que teria com o atributo original mesmo depois de o atributo original ser removido.
□ Numa regressão logística com regularização L1, que zera os coeficientes de variáveis pouco informativas, um proxy correlacionado com um atributo protegido será sempre eliminado do modelo, já que a regularização remove variáveis correlacionadas com outras.
□ A discriminação indireta só ocorre quando a equipe que constrói o modelo tem a intenção de discriminar; sem essa intenção, o resultado desfavorável a um grupo é apenas erro estatístico.

(Resposta) Teste 5 — Proxies e discriminação indireta

✔ Verdadeiro — Proxy é associação estatística: a escola frequentada, numa cidade segregada, carrega a informação sobre o grupo que as colunas removidas carregavam. Errar é supor que o problema estava nas colunas específicas removidas, e não na informação que elas transportavam.
✔ Verdadeiro — A informação sobre o grupo continua integralmente disponível ao modelo, apenas com outro nome. É o caso extremo do mecanismo do proxy: quanto maior a associação, mais completo o retorno da informação removida.
✗ Falso — A regularização L1 zera coeficientes de variáveis pouco úteis para prever o rótulo; um proxy que é preditivo do rótulo (por associação com o grupo, ou por outros motivos) tende a ser mantido. Ela não distingue “informativo por mérito” de “informativo por proxy de grupo”. Errar é supor que uma técnica de seleção de atributos resolve o problema de discriminação.
✗ Falso — A discriminação indireta é definida pelo resultado (desvantagem sistemática a um grupo sem usar o atributo), não pela intenção. O proxy age mesmo sem que ninguém queira discriminar; é por isso que ela é tão difícil de detectar sem auditoria.

Teste 6 — Consentimento, poder e privacidade

Consentimento é a concordância informada e específica do titular com um uso determinado do seu dado; poder é a capacidade de decidir o destino do dado e de impor condições a quem o fornece; privacidade é a capacidade de uma pessoa reter informação sobre si mesma. Dado reaproveitado (data exhaust) é o subproduto das atividades digitais das pessoas, usado para um fim diferente daquele para o qual foi gerado.

□ Se um empregador informasse claramente quais dados um aplicativo coleta e permitisse a recusa sem qualquer consequência, o problema de consentimento seria atenuado; ainda assim, se os dados fossem armazenados de forma centralizada e sem salvaguardas, restaria um problema de privacidade.
□ No limite em que o empregador tenha o poder de desligar quem recusar o aplicativo, o consentimento dos funcionários passa a ser indistinguível de uma exigência: eles só podem aceitar.
□ Um conjunto de imagens raspado de páginas públicas da internet e usado para treinar um modelo de visão computacional dispensa preocupação com consentimento, porque as imagens já estavam publicamente acessíveis.
□ Como consentimento e privacidade são a mesma exigência, se houver consentimento dos titulares a privacidade está automaticamente preservada, e nenhuma salvaguarda adicional é necessária.

(Resposta) Teste 6 — Consentimento, poder e privacidade

✔ Verdadeiro — Consentimento, poder e privacidade são eixos distintos: informar e permitir a recusa atenua o primeiro (e a assimetria de poder), mas não protege o dado armazenado sem salvaguardas, que é uma questão de privacidade. Errar é tratar os três como um problema só.
✔ Verdadeiro — Sem a possibilidade real de recusar, não há escolha, e portanto não há consentimento livre. É o argumento de que o empregador que exige o uso como condição de emprego retira do funcionário a oportunidade de consentir.
✗ Falso — Estar publicamente acessível não é consentimento explícito para o uso em treino de modelos; a raspagem sem consentimento explícito é tratada como problemática (poder e consentimento), mesmo quando há consentimento implícito, por exemplo por licenças. Errar é confundir acessibilidade com autorização.
✗ Falso — Ao consentir com o uso do dado, as pessoas abrem mão de parte da privacidade; por isso ela precisa ser protegida por outros meios (controle de acesso, dados descentralizados, minimização). Consentimento legitima o uso; não protege o dado contra vazamento ou uso indevido.

Teste 7 — LGPD: princípios, bases legais e dados sensíveis

Segundo a LGPD (Lei nº 13.709/2018): dado pessoal é a informação relacionada a pessoa natural identificada ou identificável (art. 5º, I); dados anonimizados não são dados pessoais, salvo se o processo de anonimização puder ser revertido com esforços razoáveis (art. 12); o consentimento deve ser livre, informado e inequívoco, para finalidade determinada (art. 5º, XII), e autorizações genéricas são nulas (art. 8º, § 4º); o princípio da finalidade veda o tratamento posterior de forma incompatível com as finalidades informadas ao titular (art. 6º, I).

□ Se um banco usar, sem informar o cliente, os dados fornecidos para abrir uma conta corrente para treinar um modelo de marketing de seguros, o princípio da finalidade (art. 6º, I) estaria em questão.
□ Uma base é “anonimizada” apenas pela remoção do nome, mas mantém CEP, data de nascimento e sexo, que permitem reidentificar as pessoas com esforços razoáveis. Pelo art. 12, essa base deixa de ser dado pessoal, porque o nome foi removido.
□ Um serviço de análise de crédito pode, pelo art. 7º, tratar dados com base na “proteção do crédito” sem precisar de consentimento; isso o dispensa também de observar os princípios do art. 6º, como finalidade, necessidade e não discriminação.
□ O art. 11, § 1º, estende o regime reforçado dos dados sensíveis a qualquer tratamento que revele dado sensível e possa causar dano ao titular; assim, a lista do art. 5º, II, não é o único critério textual para acionar esse regime.

(Resposta) Teste 7 — LGPD: princípios, bases legais e dados sensíveis

✔ Verdadeiro — O princípio da finalidade exige propósitos específicos e informados ao titular e veda o tratamento posterior incompatível com eles. Reaproveitar dado de abertura de conta para marketing de seguros, sem informação, é o descompasso de propósito que o dado reaproveitado produz.
✗ Falso — O art. 12 exclui os dados anonimizados do conceito de dado pessoal salvo se o processo puder ser revertido com esforços razoáveis. CEP, data de nascimento e sexo são quase-identificadores que permitem ligação com outras bases: a base continua sendo dado pessoal para a lei.
✗ Falso — O art. 7º, § 6º, é expresso: a dispensa do consentimento não desobriga os agentes de tratamento das demais obrigações, especialmente dos princípios gerais e dos direitos do titular. Dispensar a base não dispensa as regras.
✔ Verdadeiro — A letra do § 1º fala em tratamento que “revele” dado sensível, e não apenas em dado sensível declarado. A extensão a inferências estatísticas é matéria de interpretação, mas o dispositivo mostra que o critério do texto não se limita à lista.

Teste 8 — LGPD: decisão automatizada, responsabilização e limites

O art. 20 da LGPD garante ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses (incluídas as destinadas a definir perfil pessoal, profissional, de consumo e de crédito). O § 1º exige informações claras e adequadas sobre critérios e procedimentos, observados os segredos comercial e industrial; o § 2º prevê que, se a informação for recusada com base no segredo, a autoridade nacional (ANPD) poderá realizar auditoria para verificação de aspectos discriminatórios. O art. 4º, III, exclui da lei o tratamento para fins exclusivos de segurança pública, defesa nacional, segurança do Estado e investigação e repressão de infrações penais.

□ Se uma empresa acrescenta uma etapa em que um analista apenas assina, sem examiná-las, todas as decisões do modelo, ela pode invocar a letra do art. 20 (“unicamente”) para alegar que a decisão não é unicamente automatizada, embora na prática o peso da decisão continue sendo do modelo.
□ No limite em que o segredo comercial protegesse integralmente os critérios de um modelo, o § 2º do art. 20 deixaria de ter aplicação, pois a auditoria da ANPD é vedada quando há segredo.
□ Um sistema de reconhecimento facial usado por uma polícia estadual para identificar suspeitos em investigações criminais está, pela letra do art. 4º, III, fora do âmbito da LGPD, embora a lei remeta esse tratamento a legislação específica que deve observar os princípios gerais e os direitos do titular.
□ O art. 42, § 2º, permite ao juiz inverter o ônus da prova a favor do titular; isso significa que o titular está dispensado de qualquer alegação e basta acionar o controlador para que ele prove que não discriminou.

(Resposta) Teste 8 — LGPD: decisão automatizada, responsabilização e limites

✔ Verdadeiro — A letra do art. 20 fala em decisões “unicamente” automatizadas; um humano formal no circuito abre espaço para a alegação, sem mudar quem decide de fato. É um limite do texto, e não uma conclusão sobre o que os tribunais decidiriam.
✗ Falso — O § 2º existe justamente para o caso em que o controlador recusa a informação com base no segredo: nesse caso a ANPD “poderá realizar auditoria” para verificar aspectos discriminatórios. O segredo é ressalvado no § 1º, mas não é um muro final.
✔ Verdadeiro — O inciso III exclui o tratamento para fins exclusivos de segurança pública e de investigação e repressão de infrações penais; o § 1º o submete a legislação específica com o piso de princípios e direitos. Errar é supor que a LGPD cobre todo uso de dados pessoais.
✗ Falso — A inversão é uma faculdade do juiz e depende de condições: alegação verossímil, hipossuficiência para produzir a prova ou prova excessivamente onerosa. O titular ainda precisa alegar de forma verossímil. Errar é ler a inversão como automática.