Soluções — Aula 5: Entendendo e Direcionando Usuários — Pesquisa Qualitativa, Teste A/B e Tecnologia Persuasiva
Computação e Sociedade
Dica(Resposta) Teste 1 — O kit de ferramentas qualitativo e seus limites
- ✔ Verdadeiro — A vantagem específica da investigação contextual é revelar o que o usuário sabe fazer mas não sabe (ou não consegue) verbalizar. Se, por hipótese, o usuário conseguisse articular com exatidão total cada micro-decisão, não haveria mais nada tácito para a observação revelar que a entrevista já não capturasse — a vantagem específica desaparece para esse caso hipotético, mesmo que a investigação contextual continue tendo outras utilidades em geral.
- ✗ Falso — Revelar processos tácitos é exatamente a função da investigação contextual, não da entrevista — a entrevista depende do relato consciente do próprio usuário, que por definição não cobre o que é tácito. Com recursos infinitos para observar todo usuário em seu ambiente real, a investigação contextual cobriria sozinha exatamente essa necessidade; não há razão para a entrevista se tornar “indispensável” para revelar algo que nunca foi seu ponto forte.
- ✔ Verdadeiro — É uma aplicação direta do mesmo mecanismo da investigação contextual a outro produto digital (um aplicativo de transporte): observar o motorista configurando o painel revelaria um hábito tácito que uma entrevista, dependente de relato consciente, teria mais dificuldade de capturar.
- ✗ Falso — Pesquisa qualitativa e teste A/B respondem perguntas diferentes: a primeira revela o que confunde ou motiva o usuário e por quê; o segundo mede se uma mudança específica melhora uma métrica em escala. Ter recursos para um teste A/B não elimina a necessidade de entender, qualitativamente, o que testar e por quê — as duas abordagens são complementares, não substitutas uma da outra.
Dica(Resposta) Teste 2 — Mecânica do teste A/B e aleatorização
- ✔ Verdadeiro — É exatamente o papel da aleatorização: sem ela, uma diferença observada entre os grupos pode ser causada por uma característica prévia que já diferenciava os grupos desde o início (ex.: usuários mais engajados já tendendo a gerar métricas melhores), não pela mudança testada — um problema clássico de confundimento (confounding).
- ✔ Verdadeiro — Uma diferença entre grupos exige, por definição, dois grupos para comparar. Sem nenhuma divisão entre controle e tratamento, não existe um segundo grupo com o qual comparar — logo, o próprio conceito de diferença estatisticamente significativa entre grupos perde onde se aplicar.
- ✔ Verdadeiro — É o mesmo problema de autosseleção (viés de seleção): usuários que escolhem ativar um recurso novo podem já ser diferentes (mais motivados, mais engajados) dos que não escolhem — uma diferença de desempenho observada pode refletir essa diferença prévia, não o efeito causal do próprio recurso, exatamente como no cenário de atribuição não aleatória descrito na aula.
- ✗ Falso — A aleatorização é o que garante uma interpretação causal limpa do resultado — sem ela, o teste ainda pode revelar correlações e padrões de comportamento úteis, só que com menos confiança sobre causa e efeito. “Sem aleatorização perfeita” não é o mesmo que “não revela absolutamente nada”; é um enfraquecimento da força causal da conclusão, não um apagamento total de utilidade.
Dica(Resposta) Teste 3 — Tamanho de amostra e poder estatístico
- ✔ Verdadeiro — É a definição de poder estatístico: para um efeito real fixo, quanto maior a amostra, maior a capacidade do teste de detectar esse efeito como estatisticamente significativo. Reduzir o tamanho de amostra é o que tipicamente reduz o poder, não o contrário.
- ✗ Falso — Quando o efeito real é exatamente zero, a taxa de “detecção” de significância estatística permanece, em expectativa, no próprio nível de falso-positivo do teste (o alfa escolhido, ex.: 5%), independentemente do tamanho da amostra — aumentar a amostra não eleva essa taxa acima do nível de falso-positivo. Confundir “mais poder para detectar um efeito real” com “mais chance de encontrar significância quando não há efeito nenhum” é um erro estatístico comum, exatamente o que este item testa.
- ✔ Verdadeiro — É a mesma lógica de poder estatístico insuficiente transposta para outro produto digital: com poucos usuários no teste, um efeito real e moderado sobre a retenção pode não atingir significância estatística — a conclusão “sem diferença” reflete a limitação da amostra, não a ausência real de efeito.
- ✗ Falso — Uma amostra grande aumenta o poder de detectar um efeito real que exista, por menor que seja — mas não garante que toda mudança testada tenha, de fato, algum efeito real diferente de zero para ser detectado. O caso Kramer et al. teve um efeito real (ainda que minúsculo); isso não implica que qualquer mudança, testada com amostra grande, necessariamente produza um efeito real a ser encontrado.
Dica(Resposta) Teste 4 — Efeito novidade e metric gaming
- ✔ Verdadeiro — O efeito novidade prevê exatamente esse padrão: um ganho que se dissipa com o tempo, à medida que a novidade deixa de ser novidade. Observar o desaparecimento do ganho ao longo de uma janela maior é evidência consistente com essa hipótese (não uma prova definitiva, mas evidência a favor dela).
- ✔ Verdadeiro — Metric gaming depende, por definição, de uma lacuna entre a métrica (proxy) e o objetivo real que ela deveria representar — é otimizar a métrica às custas do objetivo real justamente porque os dois podem divergir. No limite hipotético em que não existisse nenhuma lacuna entre métrica e objetivo, otimizar a métrica seria, por construção, o mesmo que otimizar o objetivo real, e o risco específico de gaming desapareceria.
- ✔ Verdadeiro — É uma aplicação direta da Lei de Goodhart a outro contexto de produto/serviço digital: “chamados fechados por hora” é um proxy de produtividade que, ao virar o alvo explícito, incentiva fechar chamados rapidamente (mesmo sem resolver o problema real do usuário) — a métrica deixa de representar bem o objetivo genuíno (resolução efetiva), exatamente o mecanismo discutido no Bloco 3.
- ✗ Falso — Métricas serem proxies imperfeitos não significa que sejam inúteis ou que devam ser abandonadas — significa que precisam ser lidas com cuidado metodológico (como o próprio Bloco 3 discute), cientes de suas armadilhas. O erro é saltar de “toda métrica é um substituto imperfeito” para “nenhuma métrica deveria orientar decisão alguma”, descartando uma ferramenta útil por não ser perfeita.
Dica(Resposta) Teste 5 — Captologia: definição e vantagens de Fogg
- ✔ Verdadeiro — A definição de Fogg exige, explicitamente, que o sistema seja “desenhado para mudar as atitudes ou os comportamentos das pessoas” — um sistema puramente de armazenamento/exibição, sem esse elemento de intenção persuasiva, não satisfaz a definição por falta do seu componente central.
- ✔ Verdadeiro — Fogg atribui a vantagem de persistência exatamente ao fato de computadores não se cansarem, não precisarem comer ou dormir. Removendo essa premissa (por hipótese, um computador que precisasse dessas mesmas pausas biológicas), a vantagem específica de persistência sobre um persuasor humano deixaria de existir, por definição.
- ✔ Verdadeiro — É uma aplicação direta das mesmas vantagens estruturais a outro domínio de tecnologia persuasiva (educação): persistência (rodar sem cansar) e escala (milhões de estudantes simultaneamente) são exatamente as vantagens 1 e 5 listadas por Fogg, aqui aplicadas a um sistema de recomendação educacional em vez de um produto comercial.
- ✗ Falso — Fogg é explícito (Cap. 9): a resposta a “a persuasão é antiética?” depende de como ela é usada, não da mera presença de uma vantagem estrutural. Usar persistência ou escala para incentivar um hábito saudável não é, por si só, antiético — a vantagem estrutural é neutra; o veredito ético depende da intenção e do resultado, não da ferramenta.
Dica(Resposta) Teste 6 — As seis preocupações éticas específicas de Fogg
- ✔ Verdadeiro — A preocupação de Fogg depende, por definição, da ausência de reciprocidade emocional (o computador afeta, mas não é afetado). Removendo essa assimetria por hipótese — um sistema que percebe e reage a sinais emocionais com reciprocidade real —, a preocupação específica deixaria de descrever esse sistema.
- ✔ Verdadeiro — A preocupação de Fogg é sobre a lacuna de responsabilidade — o computador não pode ser responsabilizado, e às vezes ninguém mais assume esse papel. Se a empresa por trás do sistema sempre assumisse essa responsabilidade integralmente, a lacuna prática que a preocupação descreve estaria fechada para esse caso, mesmo que o computador em si continue não sendo um agente moral.
- ✔ Verdadeiro — É exatamente o mecanismo descrito por Fogg: a novidade e a complexidade de uma interação nova distraem o usuário, reduzindo sua capacidade de escrutinar a intenção persuasiva por trás dela (no exemplo de Fogg, o Volvo Ozone Eater; aqui, permissões pré-marcadas em um cadastro).
- ✗ Falso — As seis preocupações são potenciais pontos de atenção — um sistema específico pode levantar uma, várias, ou nenhuma delas, dependendo do desenho concreto. Fogg as apresenta como um mapa de riscos a verificar, não como uma lista de violações automáticas e simultâneas que toda tecnologia persuasiva necessariamente comete.
Dica(Resposta) Teste 7 — O experimento de Kramer, Guillory & Hancock (2014)
- ✔ Verdadeiro — O artigo descreve, literalmente, a manipulação da extensão em que pessoas foram expostas a conteúdo emocional (omissão parcial de posts emocionais), não uma reordenação de posts já existentes na mesma proporção. Um desenho baseado só em reordenação seria um experimento diferente do efetivamente relatado.
- ✔ Verdadeiro — Consequência direta da lógica de poder estatístico do Bloco 3: um efeito tão pequeno (d = 0,001) só foi detectável porque a amostra era massiva (N = 689.003). Com uma amostra na casa das centenas, o mesmo efeito real teria poder estatístico muito menor para ser detectado como significativo.
- ✔ Verdadeiro — É a mesma estrutura experimental transposta para outro domínio de conteúdo digital (música em vez de posts de rede social): manipular a proporção de conteúdo emocional exibido/tocado e medir o efeito em uma métrica de comportamento subsequente.
- ✗ Falso — O estudo mediu um proxy textual (proporção de palavras positivas/negativas, via software LIWC) do comportamento de postagem subsequente — não o estado emocional interno de cada pessoa diretamente. Tratar essa métrica textual como prova direta de manipulação do estado emocional interno confunde o proxy medido com o constructo psicológico que ele pretende representar.
Dica(Resposta) Teste 8 — Consentimento informado: Termos de Uso vs. norma acadêmica de IRB
- ✔ Verdadeiro — Notificação específica e opção real de recusa são exatamente os dois elementos de um consentimento informado padrão-acadêmico que faltam no argumento original dos autores. Se esses dois elementos estivessem presentes, o argumento alternativo (Termos de Uso genéricos bastam) simplesmente não precisaria ser invocado.
- ✔ Verdadeiro — O argumento dos autores depende, como premissa factual, de que o usuário tenha concordado com a Política de Uso de Dados. No limite hipotético em que essa concordância nunca tivesse ocorrido, a própria base factual sobre a qual o argumento se apoia deixa de existir.
- ✔ Verdadeiro — É a mesma estrutura de argumento aplicada a outro serviço digital: aceitar um documento genérico de Termos de Uso, anos antes, não constitui consentimento específico para um experimento futuro e concreto ainda não concebido no momento da aceitação — independentemente de o serviço ser uma rede social ou um provedor de e-mail.
- ✗ Falso — É exatamente a generalização que a aula questiona: consentir com o uso de dados para operar um serviço não equivale a consentir, de forma aberta e ilimitada, com qualquer pesquisa futura imaginável sobre esses dados. Tratar um consentimento genérico como cobertura automática e permanente para qualquer finalidade futura é a mesma falha lógica discutida no caso Kramer et al.
Dica(Resposta) Teste 9 — Entender vs. direcionar: lendo a instrumentação
- ✔ Verdadeiro — Uma métrica de tarefa completada com sucesso, medida depois de um intervalo de tempo, captura melhor o resultado que importa para o usuário do que uma métrica de ação imediata e facilmente confundida com cliques acidentais ou curiosidade — exatamente o ponto levantado na Pausa Ativa da Abertura desta aula.
- ✔ Verdadeiro — A distinção do checklist depende, precisamente, da possibilidade de divergência entre métrica de negócio e benefício do usuário. No limite hipotético em que essa divergência nunca ocorresse, otimizar a métrica de negócio seria, por construção, o mesmo que servir ao usuário — a distinção perderia onde se manifestar nesse caso.
- ✔ Verdadeiro — É uma aplicação direta do checklist de síntese a outro sistema digital de recomendação: perguntar que métrica está sendo otimizada (tempo de leitura vs. diversidade/qualidade) revela se o sistema tende a servir o usuário ou a métrica de engajamento do negócio, exatamente a mesma lógica de leitura proposta na aula.
- ✗ Falso — Medir engajamento não é, por si só, evidência de direcionamento contra o usuário — a aula é explícita em dizer que a mesma métrica pode coincidir com o benefício do usuário (um app de exercícios que retém por saúde real). O checklist serve para investigar caso a caso, não para condenar automaticamente qualquer medição de engajamento.
Dica(Resposta) Teste 10 — Síntese da aula e a ponte para a Aula 6
- ✔ Verdadeiro — A bifurcação da aula é sobre como o mesmo kit concreto de ferramentas é usado — sem nenhum kit de medição/pesquisa disponível, não haveria o mecanismo concreto (escolha de métrica, desenho de teste) sobre o qual a bifurcação se apoia, mesmo que alguma forma mais rudimentar de influência ainda pudesse existir.
- ✔ Verdadeiro — O mecanismo dos dark patterns, como visto na Aula 4, nasce de uma equipe escolher otimizar por uma métrica de negócio contra o usuário. Se, por hipótese, toda equipe sempre escolhesse uma métrica alinhada ao usuário, sem exceção, a explicação metodológica concreta para a fricção deliberada (a escolha de métrica) deixaria de existir nesse cenário limite.
- ✔ Verdadeiro — É exatamente a ponte que fecha a aula: a mesma lógica estrutural — uma escolha que parece “só técnica” ou “só de método” tem consequência concreta fora do comportamento do usuário isoladamente — se estende do domínio metodológico (Aula 5) para o domínio material e ambiental (Aula 6).
- ✗ Falso — As duas aulas operam em níveis de análise diferentes, como o
_00-plano-aula.mddesta aula explicita: a Aula 4 descreve o resultado (um padrão de interface deliberadamente hostil); esta aula descreve o método de pesquisa e experimentação que está, estruturalmente, por trás de qualquer decisão desse tipo — a favor ou contra o usuário. Tratar os dois como “o mesmo fenômeno, sem diferença de nível” apaga essa distinção deliberada entre resultado e método.