"Concordo totalmente" que você já respondeu uma escala Likert, mas montar uma boa é outra história. Nas Lojas Andorinha O RH das Lojas Andorinha, rede de moda com trinta lojas, lançou sua primeira pesquisa de clima com orgulho e uma escala desenhada em casa: quatro pontos, "para forçar posição", com os rótulos "ruim", "bom", "muito bom" e "excepcional". O resultado saiu cor-de-rosa: 91% do time entre "bom" e "excepcional", slide comemorativo pronto. A analista de dados da rede leu a escala antes de ler o resultado, e pediu para segurarem o slide. Três opções positivas contra uma negativa; nenhum meio honesto para quem estava "nem bem, nem mal"; e o degrau entre "ruim" e "bom" engolindo, num salto só, todo mundo que estava apenas insatisfeito, sem estar revoltado. A pesquisa não tinha medido o clima da rede. Tinha medido o clima da régua, e a régua nascera sorridente. A escala Likert: o problema que um psicólogo resolveu em 1932 Como se mede uma opinião? Um termômetro mede temperatura, uma balança mede peso, mas não existe aparelho que se aponte para uma pessoa e leia "satisfação: 7,3". Em 1932, o psicólogo americano Rensis Likert propôs, em sua tese de doutorado, uma solução tão simples que parece óbvia hoje: apresentar uma afirmação e pedir que a pessoa marque seu grau de concordância numa régua simétrica: "O atendimento da loja resolve meus problemas rapidamente."( ) Discordo totalmente ( ) Discordo ( ) Neutro ( ) Concordo ( ) Concordo totalmente Noventa anos depois, a escala Likert é o instrumento mais usado da pesquisa de opinião mundial, e um dos mais maltratados. Este artigo ensina a montar uma corretamente e a ler os resultados sem se enganar. A anatomia de uma Likert bem-feita 1. É uma afirmação, não uma pergunta.A escala mede reação a uma frase. "Como você avalia o atendimento?" com opções de "péssimo" a "ótimo" é uma escala de avaliação (rating): legítima, mas não é Likert. A distinção importa menos pelo nome e mais pela disciplina: a afirmação precisa ser clara, única e afirmável, e todas as regras de uma boa pergunta valem em dobro aqui. Afirmação dupla ("o atendimento é rápido e cordial") quebra a escala inteira. 2. Simetria: o mesmo número de degraus para cada lado.Duas opções positivas e duas negativas, com o neutro no centro. A pesquisa metodológica (resumida por Jon Krosnick, de Stanford, um dos maiores estudiosos de questionários) mostra que escalas desequilibradas empurram a resposta, e produzem aquele resultado suspeito de "94% de aprovação". 3. Todos os pontos rotulados.Krosnick e Fabrigar também documentaram que escalas com rótulos verbais em todos os pontos (e não só nas pontas) são mais confiáveis: as pessoas interpretam os degraus de forma mais parecida entre si. Números soltos (1 a 5, sem palavras) deixam cada respondente inventar sua própria régua. 4. Cinco ou sete pontos, e pronto.Décadas de estudos convergem: abaixo de 5 pontos perde-se sensibilidade; acima de 7, as pessoas não distinguem os degraus ("concordo moderadamente" vs. "concordo consideravelmente"?) e a qualidade não melhora. No contexto de coleta no ponto de venda (respondente em pé, no totem, com segundos de atenção), 5 pontos é o padrão sensato. 5. O dilema do ponto neutro.Com neutro, quem não tem opinião tem saída honesta. Sem neutro (escala de 4 ou 6), força-se a escolha de um lado. Não há resposta única: escalas pares evitam a "preguiça do meio" (marcar neutro para não pensar), mas fabricam opiniões de quem realmente não tem uma; e fabricar dado é pior que perder dado. A recomendação mais segura é manter o neutro, e quando a taxa de neutros for alta, tratar isso como informação ("os clientes não notaram esse aspecto") em vez de estorvo. Os três pecados na hora de analisar Montar bem é metade; a outra metade é ler direito. Pecado 1: tirar média como se fossem números de verdade.Os degraus da Likert são ordenados, mas não necessariamente equidistantes: a distância psicológica entre "concordo" e "concordo totalmente" pode não ser igual à distância entre "neutro" e "concordo". Tecnicamente, é uma escala ordinal, e há um debate metodológico honesto, com décadas de idas e vindas, sobre quando é aceitável tratá-la como numérica. A regra prática mais segura: média de um único item Likert é atalho arriscado; distribuição é sempre verdade. Reportar "72% concordam ou concordam totalmente; 11% discordam" comunica mais e engana menos do que "média 3,9" (a média esconde os extremos). Pecado 2: ignorar o estilo de resposta.Escalas de concordância sofrem de um viés conhecido: a aquiescência: a tendência humana de concordar com afirmações, qualquer afirmação. Parte dos "concordo" é pura gentileza. Antídotos: afirmações formuladas com neutralidade e, em questionários mais longos, alternar afirmações positivas e negativas para detectar quem concorda com tudo em linha reta (straightlining). Pecado 3: comparar escalas diferentes como se fossem iguais.A nota 4 numa escala de 5 não equivale a 8 numa escala de 10, nem o "concordo" de uma escala rotulada equivale ao "4" de uma escala numérica. Conversões de escala existem, mas são aproximações com perda. Regra de ouro para quem muda de questionário: mudou a escala, quebrou a série histórica: anote a data da mudança e compare com cuidado dali em diante. Likert no ponto de venda No ponto de venda, a escala Likert costuma aparecer em forma de perguntas de múltipla escolha, ou traduzida em linguagem visual: carinhas, estrelas, botões coloridos. A ciência é a mesma; os cuidados também: E um lembrete de humildade metodológica: a carinha mede a reação global daquele momento com altíssima taxa de resposta — essa é sua força. Para diagnóstico fino ("o problema é limpeza ou espera?"), ela precisa das perguntas específicas que vêm depois. Instrumento certo para cada trabalho. De volta à Andorinha Na Andorinha, a pesquisa de clima voltou a campo com uma régua honesta: cinco pontos simétricos, dois negativos, um meio de verdade, dois positivos, todos com rótulo. O retrato mudou: os 91% de céu azul viraram 63% de satisfeitos, 23% em cima do muro e 14% de insatisfeitos
Quantas respostas bastam para confiar num resultado?
10 respostas não são pesquisa. 10 mil nem sempre são melhores. A pergunta que todo cliente faz “Mas com quantas respostas eu posso confiar no resultado?” É provavelmente a pergunta mais frequente de quem começa a medir satisfação, e uma das mais mal respondidas do mercado. Este artigo responde sem nenhuma fórmula, usando uma panela de sopa. A sopa e a colher Imagine uma panela gigante de sopa. Você quer saber se está boa de sal. Precisa tomar a panela inteira? Claro que não. Uma colherada basta, desde que você mexa a sopa antes. Essa imagem, usada há décadas por professores de estatística, carrega quase tudo que importa sobre amostragem: Em linguagem técnica: “mexer a sopa” é garantir uma amostra representativa, aquela em que todo tipo de cliente tem chance de aparecer. E é aqui que a maioria das pesquisas quebra. Erro nº 1 de amostragem: a colher que só pega a superfície O caso mais famoso da história: em 1936, a revista americana Literary Digest enviou 10 milhões de cédulas de pesquisa e recebeu 2,4 milhões de respostas, a maior pesquisa eleitoral já feita até então. Previu vitória folgada de Alf Landon sobre Franklin Roosevelt. Roosevelt venceu com uma das maiores margens da história. No mesmo ano, George Gallup acertou o resultado com uma amostra centenas de vezes menor. O que deu errado? A Digest tirou seus endereços de listas telefônicas e registros de automóveis: em plena Grande Depressão, isso significava consultar principalmente gente de renda alta. E, entre os consultados, respondeu quem quis (os mais insatisfeitos com o governo). Dois vieses de uma vez: amostra torta e auto-seleção. A lição, que vale até hoje: 2,4 milhões de respostas tortas perdem para 2 mil respostas bem colhidas. Tamanho não conserta viés; só torna o erro mais confiante. É por isso que “10 mil nem sempre são melhores”: se as 10 mil respostas vieram só de um perfil (só quem clica em link de e-mail, só quem estava muito irritado ou muito encantado), você tem uma montanha de dados sobre a superfície da sopa. Esse é também o argumento científico da coleta presencial no momento da experiência: no ponto de venda, todo perfil de cliente passa pelo totem: o apressado, o satisfeito-silencioso, o que jamais responderia um e-mail. A sopa vem mais mexida. Erro nº 2: a colherada minúscula (amostra insuficiente) O outro extremo: gerente olha o painel na segunda-feira, vê 8 respostas do fim de semana, sendo 3 negativas, e aciona o alarme: “37% de insatisfação!”. Com 8 respostas, o acaso manda no resultado. Duas famílias mal atendidas no sábado produzem uma “crise” que não existe. É o mesmo motivo pelo qual tirar cara 3 vezes em 4 lançamentos de moeda não prova que a moeda é viciada. A estatística mede essa incerteza com a margem de erro: um “colchão” em volta do número, dentro do qual o valor verdadeiro provavelmente está. Sem fórmulas, o que a equipe precisa saber de cor é a ordem de grandeza: (Valores aproximados, para uma população de 10000 clientes e nível de confiança de 95%, o padrão de mercado.) Use a nossa calculadora, para ter uma ideia mais precisa dos seus números. Repare em duas coisas. Primeiro: os retornos são decrescentes. Sair de 100 para 400 respostas ajuda muito; sair de 1.000 para 2.500 ajuda pouco. Segundo: a consequência prática para leitura de dashboards. Uma variação de 4 pontos no NPS de uma loja com 80 respostas no mês não é notícia; é ruído dentro da margem. Antes de comemorar ou apagar incêndio, pergunte: a variação é maior que a margem de erro? Erro nº 3: fatiar até não sobrar nada Uma rede tem 5.000 respostas no trimestre — ótimo. Mas aí alguém quer o NPS da loja do bairro X, no turno da noite, entre clientes de primeira visita. Sobraram 12 respostas. O painel mostra o número do mesmo jeito, e ele balança loucamente a cada semana. Regra prática: cada fatia tem a sua própria margem de erro, sempre maior que a do bolo inteiro. Cada filtro aplicado encolhe a amostra e alarga a incerteza. Fatias pequenas servem para gerar hipóteses (“parece haver um problema no turno da noite — vamos observar mais”), nunca para veredito. As três perguntas antes de confiar num número Quem faz essas três perguntas lê qualquer dashboard (nosso ou de qualquer ferramenta do mundo) com olhos de cientista. O resumo de uma frase (teste Feynman) “Para saber se a sopa está boa, não precisa tomar a panela: basta mexer bem e provar uma colherada de tamanho honesto.” Fontes e leituras recomendadas SQUIRE, Peverill. “Why the 1936 Literary Digest Poll Failed”. Public Opinion Quarterly, v. 52, 1988. HUFF, Darrell. Como Mentir com Estatística. Intrínseca, 2016 (original de 1954). (Capítulos sobre amostras enviesadas.) COCHRAN, William G. Sampling Techniques. 3ª ed. Wiley, 1977. (A referência técnica clássica sobre amostragem, para quem quiser as fórmulas.) WHEELAN, Charles. Estatística: O Que É, Para Que Serve, Como Funciona. Zahar, 2016. (Introdução acessível a margem de erro e amostragem.)
