10 respostas não são pesquisa. 10 mil nem sempre são melhores.
A pergunta que todo cliente faz
“Mas com quantas respostas eu posso confiar no resultado?”
É provavelmente a pergunta mais frequente de quem começa a medir satisfação, e uma das mais mal respondidas do mercado. Este artigo responde sem nenhuma fórmula, usando uma panela de sopa.
A sopa e a colher
Imagine uma panela gigante de sopa. Você quer saber se está boa de sal. Precisa tomar a panela inteira?
Claro que não. Uma colherada basta, desde que você mexa a sopa antes.
Essa imagem, usada há décadas por professores de estatística, carrega quase tudo que importa sobre amostragem:
- Não é preciso perguntar a todos (tomar a panela toda) para conhecer o todo.
- O segredo não é o tamanho da colher, é mexer a sopa: a colherada só representa a panela se a sopa estiver misturada. Se todo o sal afundou e você prova só a superfície, pode usar uma concha enorme e vai errar do mesmo jeito.
- E um detalhe que surpreende: a colherada que basta para uma panela também basta para um caldeirão industrial. A partir de certo ponto, o que importa é o tamanho da amostra, muito mais do que o tamanho da população.
Em linguagem técnica: “mexer a sopa” é garantir uma amostra representativa, aquela em que todo tipo de cliente tem chance de aparecer. E é aqui que a maioria das pesquisas quebra.
Erro nº 1: a colher que só pega a superfície (viés de amostragem)
O caso mais famoso da história: em 1936, a revista americana Literary Digest enviou 10 milhões de cédulas de pesquisa e recebeu 2,4 milhões de respostas, a maior pesquisa eleitoral já feita até então. Previu vitória folgada de Alf Landon sobre Franklin Roosevelt. Roosevelt venceu com uma das maiores margens da história. No mesmo ano, George Gallup acertou o resultado com uma amostra centenas de vezes menor.
O que deu errado? A Digest tirou seus endereços de listas telefônicas e registros de automóveis: em plena Grande Depressão, isso significava consultar principalmente gente de renda alta. E, entre os consultados, respondeu quem quis (os mais insatisfeitos com o governo). Dois vieses de uma vez: amostra torta e auto-seleção.
A lição, que vale até hoje: 2,4 milhões de respostas tortas perdem para 2 mil respostas bem colhidas. Tamanho não conserta viés; só torna o erro mais confiante.
É por isso que “10 mil nem sempre são melhores”: se as 10 mil respostas vieram só de um perfil (só quem clica em link de e-mail, só quem estava muito irritado ou muito encantado), você tem uma montanha de dados sobre a superfície da sopa. Esse é também o argumento científico da coleta presencial no momento da experiência: no ponto de venda, todo perfil de cliente passa pelo totem: o apressado, o satisfeito-silencioso, o que jamais responderia um e-mail. A sopa vem mais mexida.
Erro nº 2: a colherada minúscula (amostra insuficiente)
O outro extremo: gerente olha o painel na segunda-feira, vê 8 respostas do fim de semana, sendo 3 negativas, e aciona o alarme: “37% de insatisfação!”.
Com 8 respostas, o acaso manda no resultado. Duas famílias mal atendidas no sábado produzem uma “crise” que não existe. É o mesmo motivo pelo qual tirar cara 3 vezes em 4 lançamentos de moeda não prova que a moeda é viciada.
A estatística mede essa incerteza com a margem de erro: um “colchão” em volta do número, dentro do qual o valor verdadeiro provavelmente está. Sem fórmulas, o que a equipe precisa saber de cor é a ordem de grandeza:
- ~100 respostas → margem de erro em torno de ±10 pontos percentuais
- ~400 respostas → cerca de ±5 pontos
- ~1.000 respostas → cerca de ±3 pontos
- ~2.500 respostas → cerca de ±2 pontos
(Valores aproximados, para uma população de 10000 clientes e nível de confiança de 95%, o padrão de mercado.)
Use a nossa calculadora, para ter uma ideia mais precisa dos seus números.
Repare em duas coisas. Primeiro: os retornos são decrescentes. Sair de 100 para 400 respostas ajuda muito; sair de 1.000 para 2.500 ajuda pouco. Segundo: a consequência prática para leitura de dashboards. Uma variação de 4 pontos no NPS de uma loja com 80 respostas no mês não é notícia; é ruído dentro da margem. Antes de comemorar ou apagar incêndio, pergunte: a variação é maior que a margem de erro?
Erro nº 3: fatiar até não sobrar nada
Uma rede tem 5.000 respostas no trimestre — ótimo. Mas aí alguém quer o NPS da loja do bairro X, no turno da noite, entre clientes de primeira visita. Sobraram 12 respostas. O painel mostra o número do mesmo jeito, e ele balança loucamente a cada semana.
Regra prática: cada fatia tem a sua própria margem de erro, sempre maior que a do bolo inteiro. Cada filtro aplicado encolhe a amostra e alarga a incerteza. Fatias pequenas servem para gerar hipóteses (“parece haver um problema no turno da noite — vamos observar mais”), nunca para veredito.
As três perguntas antes de confiar num número
- Como as respostas foram colhidas? Todo perfil de cliente teve chance de responder, ou só um tipo? (A sopa foi mexida?)
- Quantas respostas tem este recorte? Não o total da base — o número que sustenta o gráfico específico que você está olhando.
- A diferença que estou vendo é maior que a margem de erro? Se não for, ainda não é um fato: pode ser só flutuação.
Quem faz essas três perguntas lê qualquer dashboard (nosso ou de qualquer ferramenta do mundo) com olhos de cientista.
O resumo de uma frase (teste Feynman)
“Para saber se a sopa está boa, não precisa tomar a panela: basta mexer bem e provar uma colherada de tamanho honesto.”
Fontes e leituras recomendadas
SQUIRE, Peverill. “Why the 1936 Literary Digest Poll Failed”. Public Opinion Quarterly, v. 52, 1988.
HUFF, Darrell. Como Mentir com Estatística. Intrínseca, 2016 (original de 1954). (Capítulos sobre amostras enviesadas.)
COCHRAN, William G. Sampling Techniques. 3ª ed. Wiley, 1977. (A referência técnica clássica, para quem quiser as fórmulas.)
WHEELAN, Charles. Estatística: O Que É, Para Que Serve, Como Funciona. Zahar, 2016. (Introdução acessível a margem de erro e amostragem.)
