10 respostas não são pesquisa. 10 mil nem sempre são melhores. A pergunta que todo cliente faz “Mas com quantas respostas eu posso confiar no resultado?” É provavelmente a pergunta mais frequente de quem começa a medir satisfação, e uma das mais mal respondidas do mercado. Este artigo responde sem nenhuma fórmula, usando uma panela de sopa. A sopa e a colher Imagine uma panela gigante de sopa. Você quer saber se está boa de sal. Precisa tomar a panela inteira? Claro que não. Uma colherada basta, desde que você mexa a sopa antes. Essa imagem, usada há décadas por professores de estatística, carrega quase tudo que importa sobre amostragem: Em linguagem técnica: “mexer a sopa” é garantir uma amostra representativa, aquela em que todo tipo de cliente tem chance de aparecer. E é aqui que a maioria das pesquisas quebra. Erro nº 1: a colher que só pega a superfície (viés de amostragem) O caso mais famoso da história: em 1936, a revista americana Literary Digest enviou 10 milhões de cédulas de pesquisa e recebeu 2,4 milhões de respostas, a maior pesquisa eleitoral já feita até então. Previu vitória folgada de Alf Landon sobre Franklin Roosevelt. Roosevelt venceu com uma das maiores margens da história. No mesmo ano, George Gallup acertou o resultado com uma amostra centenas de vezes menor. O que deu errado? A Digest tirou seus endereços de listas telefônicas e registros de automóveis: em plena Grande Depressão, isso significava consultar principalmente gente de renda alta. E, entre os consultados, respondeu quem quis (os mais insatisfeitos com o governo). Dois vieses de uma vez: amostra torta e auto-seleção. A lição, que vale até hoje: 2,4 milhões de respostas tortas perdem para 2 mil respostas bem colhidas. Tamanho não conserta viés; só torna o erro mais confiante. É por isso que “10 mil nem sempre são melhores”: se as 10 mil respostas vieram só de um perfil (só quem clica em link de e-mail, só quem estava muito irritado ou muito encantado), você tem uma montanha de dados sobre a superfície da sopa. Esse é também o argumento científico da coleta presencial no momento da experiência: no ponto de venda, todo perfil de cliente passa pelo totem: o apressado, o satisfeito-silencioso, o que jamais responderia um e-mail. A sopa vem mais mexida. Erro nº 2: a colherada minúscula (amostra insuficiente) O outro extremo: gerente olha o painel na segunda-feira, vê 8 respostas do fim de semana, sendo 3 negativas, e aciona o alarme: “37% de insatisfação!”. Com 8 respostas, o acaso manda no resultado. Duas famílias mal atendidas no sábado produzem uma “crise” que não existe. É o mesmo motivo pelo qual tirar cara 3 vezes em 4 lançamentos de moeda não prova que a moeda é viciada. A estatística mede essa incerteza com a margem de erro: um “colchão” em volta do número, dentro do qual o valor verdadeiro provavelmente está. Sem fórmulas, o que a equipe precisa saber de cor é a ordem de grandeza: (Valores aproximados, para uma população de 10000 clientes e nível de confiança de 95%, o padrão de mercado.) Use a nossa calculadora, para ter uma ideia mais precisa dos seus números. Repare em duas coisas. Primeiro: os retornos são decrescentes. Sair de 100 para 400 respostas ajuda muito; sair de 1.000 para 2.500 ajuda pouco. Segundo: a consequência prática para leitura de dashboards. Uma variação de 4 pontos no NPS de uma loja com 80 respostas no mês não é notícia; é ruído dentro da margem. Antes de comemorar ou apagar incêndio, pergunte: a variação é maior que a margem de erro? Erro nº 3: fatiar até não sobrar nada Uma rede tem 5.000 respostas no trimestre — ótimo. Mas aí alguém quer o NPS da loja do bairro X, no turno da noite, entre clientes de primeira visita. Sobraram 12 respostas. O painel mostra o número do mesmo jeito, e ele balança loucamente a cada semana. Regra prática: cada fatia tem a sua própria margem de erro, sempre maior que a do bolo inteiro. Cada filtro aplicado encolhe a amostra e alarga a incerteza. Fatias pequenas servem para gerar hipóteses (“parece haver um problema no turno da noite — vamos observar mais”), nunca para veredito. As três perguntas antes de confiar num número Quem faz essas três perguntas lê qualquer dashboard (nosso ou de qualquer ferramenta do mundo) com olhos de cientista. O resumo de uma frase (teste Feynman) “Para saber se a sopa está boa, não precisa tomar a panela: basta mexer bem e provar uma colherada de tamanho honesto.” Fontes e leituras recomendadas SQUIRE, Peverill. “Why the 1936 Literary Digest Poll Failed”. Public Opinion Quarterly, v. 52, 1988. HUFF, Darrell. Como Mentir com Estatística. Intrínseca, 2016 (original de 1954). (Capítulos sobre amostras enviesadas.) COCHRAN, William G. Sampling Techniques. 3ª ed. Wiley, 1977. (A referência técnica clássica, para quem quiser as fórmulas.) WHEELAN, Charles. Estatística: O Que É, Para Que Serve, Como Funciona. Zahar, 2016. (Introdução acessível a margem de erro e amostragem.)
Pesquisa de satisfação: como calcular a amostragem de respostas?
Ao realizar uma pesquisa de satisfação, torna-se essencial descobrir o tamanho da amostra para obter resultados estatísticos. Em outras palavras, é preciso descobrir quantas respostas precisa ter na pesquisa e nesse momento entram os cálculos de amostragem. Mas como descobrir a amostra ideal para coletar? Este post vai te ajudar a entender como utilizá-la, respondendo algumas perguntas bem simples. Continue a leitura! O que é amostragem? Quando falamos de amostragem, uma frase muito famosa aqui na Solvis é: “você não precisa tomar a sopa inteira pra saber se está salgada; basta uma colher”. Portanto, se trata do ato de analisar uma parte do evento observado com o intuito de saber como a população se comporta, sem necessariamente analisar a população como um todo. Da mesma forma, numa pesquisa de satisfação não é preciso obter a resposta de todos; uma parte das pessoas já é o suficiente. O importante é que essa amostra seja uma boa representação da população total. Como calcular amostragem Toda pesquisa precisa de um cálculo amostral para saber o número exato de amostra necessária e validar os dados. Para isso, é importante levar em consideração alguns pontos, como: População Margem de Erro Nível de Confiança Qual é o tamanho da população? A população é o público-alvo da pesquisa, ou seja, são todas as pessoas cuja opinião você gostaria de saber. Lá na calculadora, você deve inserir o número de pessoas que passaram no seu estabelecimento em um período de tempo (por dia, semana, mês, etc). Por exemplo, se você possui um totem da Solvis, a população pode ser o número de pessoas que passam na sua loja ou restaurante. Se você utiliza a pesquisa online, pode ser o número de e-mails enviados com o link da pesquisa. Se você já tem respostas na pesquisa, qual é a margem de erro? Caso a sua empresa já tenha coletado uma amostra da opinião do público, o mais interessante é utilizar a calculadora de margem de erro, que vai dizer qual é a margem de erro da amostra existente. A margem de erro representa quantos pontos percentuais a opinião real do seu público irá variar em relação às respostas obtidas com a amostra. Ou seja, quanto menor a margem de erro, maior é a qualidade dos resultados. Por convenção utilizamos 5%, mas você e sua empresa podem decidir qual é a margem aceitável ;) Se a margem de erro estiver acima do aceitável, quer dizer que a sua amostra não é suficiente e você precisa coletar mais respostas. Se você ainda não começou sua pesquisa, qual é a confiabilidade? Agora, se você ainda não começou sua pesquisa, defina uma margem de erro e um nível de confiabilidade aceitáveis usando a calculadora de confiabilidade. A confiabilidade é o grau de certeza de que o resultado representa toda a população, dentro da margem de erro estabelecida. Por convenção, utilizamos 90% de confiabilidade, mas repetimos: quem decide é você! Por exemplo, estabelecendo margem de erro 5% e confiabilidade 90%: se a pesquisa mostra que os seus clientes têm 83% de satisfação, você tem 90% de certeza (confiabilidade) de que o resultado real está entre 83-5% e 83+5% (margem de erro). Definindo esses dois parâmetros, você obtém a meta da quantidade de respostas ideal para sua pesquisa. Qual a amostragem ideal para meu negócio? Logo, se você possui várias lojas, cada unidade pode ter uma amostra ideal diferente das demais porque vai depender da população daquele estabelecimento. Uma loja com um maior fluxo de pessoas certamente precisa de mais respostas do que uma loja menor. Então, lembre-se que não é ideal definir uma meta única de respostas para toda a rede. Agora que você já sabe como descobrir a quantidade ideal de respostas para sua pesquisa, conta pra gente: você está acima ou abaixo da meta? Se tiver dúvidas ou precisar de ajuda, fale com um de nossos especialistas em pesquisa!
