"Concordo totalmente" que você já respondeu uma escala Likert, mas montar uma boa é outra história. Nas Lojas Andorinha O RH das Lojas Andorinha, rede de moda com trinta lojas, lançou sua primeira pesquisa de clima com orgulho e uma escala desenhada em casa: quatro pontos, "para forçar posição", com os rótulos "ruim", "bom", "muito bom" e "excepcional". O resultado saiu cor-de-rosa: 91% do time entre "bom" e "excepcional", slide comemorativo pronto. A analista de dados da rede leu a escala antes de ler o resultado, e pediu para segurarem o slide. Três opções positivas contra uma negativa; nenhum meio honesto para quem estava "nem bem, nem mal"; e o degrau entre "ruim" e "bom" engolindo, num salto só, todo mundo que estava apenas insatisfeito, sem estar revoltado. A pesquisa não tinha medido o clima da rede. Tinha medido o clima da régua, e a régua nascera sorridente. A escala Likert: o problema que um psicólogo resolveu em 1932 Como se mede uma opinião? Um termômetro mede temperatura, uma balança mede peso, mas não existe aparelho que se aponte para uma pessoa e leia "satisfação: 7,3". Em 1932, o psicólogo americano Rensis Likert propôs, em sua tese de doutorado, uma solução tão simples que parece óbvia hoje: apresentar uma afirmação e pedir que a pessoa marque seu grau de concordância numa régua simétrica: "O atendimento da loja resolve meus problemas rapidamente."( ) Discordo totalmente ( ) Discordo ( ) Neutro ( ) Concordo ( ) Concordo totalmente Noventa anos depois, a escala Likert é o instrumento mais usado da pesquisa de opinião mundial, e um dos mais maltratados. Este artigo ensina a montar uma corretamente e a ler os resultados sem se enganar. A anatomia de uma Likert bem-feita 1. É uma afirmação, não uma pergunta.A escala mede reação a uma frase. "Como você avalia o atendimento?" com opções de "péssimo" a "ótimo" é uma escala de avaliação (rating): legítima, mas não é Likert. A distinção importa menos pelo nome e mais pela disciplina: a afirmação precisa ser clara, única e afirmável, e todas as regras de uma boa pergunta valem em dobro aqui. Afirmação dupla ("o atendimento é rápido e cordial") quebra a escala inteira. 2. Simetria: o mesmo número de degraus para cada lado.Duas opções positivas e duas negativas, com o neutro no centro. A pesquisa metodológica (resumida por Jon Krosnick, de Stanford, um dos maiores estudiosos de questionários) mostra que escalas desequilibradas empurram a resposta, e produzem aquele resultado suspeito de "94% de aprovação". 3. Todos os pontos rotulados.Krosnick e Fabrigar também documentaram que escalas com rótulos verbais em todos os pontos (e não só nas pontas) são mais confiáveis: as pessoas interpretam os degraus de forma mais parecida entre si. Números soltos (1 a 5, sem palavras) deixam cada respondente inventar sua própria régua. 4. Cinco ou sete pontos, e pronto.Décadas de estudos convergem: abaixo de 5 pontos perde-se sensibilidade; acima de 7, as pessoas não distinguem os degraus ("concordo moderadamente" vs. "concordo consideravelmente"?) e a qualidade não melhora. No contexto de coleta no ponto de venda (respondente em pé, no totem, com segundos de atenção), 5 pontos é o padrão sensato. 5. O dilema do ponto neutro.Com neutro, quem não tem opinião tem saída honesta. Sem neutro (escala de 4 ou 6), força-se a escolha de um lado. Não há resposta única: escalas pares evitam a "preguiça do meio" (marcar neutro para não pensar), mas fabricam opiniões de quem realmente não tem uma; e fabricar dado é pior que perder dado. A recomendação mais segura é manter o neutro, e quando a taxa de neutros for alta, tratar isso como informação ("os clientes não notaram esse aspecto") em vez de estorvo. Os três pecados na hora de analisar Montar bem é metade; a outra metade é ler direito. Pecado 1: tirar média como se fossem números de verdade.Os degraus da Likert são ordenados, mas não necessariamente equidistantes: a distância psicológica entre "concordo" e "concordo totalmente" pode não ser igual à distância entre "neutro" e "concordo". Tecnicamente, é uma escala ordinal, e há um debate metodológico honesto, com décadas de idas e vindas, sobre quando é aceitável tratá-la como numérica. A regra prática mais segura: média de um único item Likert é atalho arriscado; distribuição é sempre verdade. Reportar "72% concordam ou concordam totalmente; 11% discordam" comunica mais e engana menos do que "média 3,9" (a média esconde os extremos). Pecado 2: ignorar o estilo de resposta.Escalas de concordância sofrem de um viés conhecido: a aquiescência: a tendência humana de concordar com afirmações, qualquer afirmação. Parte dos "concordo" é pura gentileza. Antídotos: afirmações formuladas com neutralidade e, em questionários mais longos, alternar afirmações positivas e negativas para detectar quem concorda com tudo em linha reta (straightlining). Pecado 3: comparar escalas diferentes como se fossem iguais.A nota 4 numa escala de 5 não equivale a 8 numa escala de 10, nem o "concordo" de uma escala rotulada equivale ao "4" de uma escala numérica. Conversões de escala existem, mas são aproximações com perda. Regra de ouro para quem muda de questionário: mudou a escala, quebrou a série histórica: anote a data da mudança e compare com cuidado dali em diante. Likert no ponto de venda No ponto de venda, a escala Likert costuma aparecer em forma de perguntas de múltipla escolha, ou traduzida em linguagem visual: carinhas, estrelas, botões coloridos. A ciência é a mesma; os cuidados também: E um lembrete de humildade metodológica: a carinha mede a reação global daquele momento com altíssima taxa de resposta — essa é sua força. Para diagnóstico fino ("o problema é limpeza ou espera?"), ela precisa das perguntas específicas que vêm depois. Instrumento certo para cada trabalho. De volta à Andorinha Na Andorinha, a pesquisa de clima voltou a campo com uma régua honesta: cinco pontos simétricos, dois negativos, um meio de verdade, dois positivos, todos com rótulo. O retrato mudou: os 91% de céu azul viraram 63% de satisfeitos, 23% em cima do muro e 14% de insatisfeitos
Anatomia de uma boa pergunta: Por que o jeito de perguntar muda a resposta
“Você gostou?” e “O que achou?” parecem iguais. Não são. Toda pergunta de pesquisa é um instrumento de medição, e instrumentos mal calibrados enganam. Na Clínica Aurora Wagner, administrador da Clínica Aurora, uma rede de clínicas médicas, tinha um rascunho pronto para o totem da recepção e a satisfação de quem enxugou tudo em uma linha: “Você ficou satisfeito com o atendimento da recepção e da equipe médica?”. Curta, educada, direta. Mari Ferreira, consultora da Solvis que acompanhava a implantação, leu a pergunta duas vezes e devolveu o notebook com outra pergunta no lugar de uma opinião: — Se o paciente responder 3… o que exatamente você vai consertar? Wagner abriu a boca para responder e percebeu a armadilha no meio do caminho. Um 3 podia ser uma hora de espera com uma consulta excelente, um médico atencioso atrás de uma recepção caótica, ou um paciente irritado com o convênio, sem culpa de ninguém dali. A pergunta era uma só; as respostas dentro dela eram três. A pergunta de pesquisa: o instrumento mais delicado “Um termômetro mal calibrado mede a febre errada. Uma balança desregulada mente o peso. E uma pergunta mal formulada coleta uma opinião que o cliente não tem.” A pergunta é o instrumento de medição da pesquisa, e é um instrumento delicado. Décadas de pesquisa em metodologia de questionários (a área tem até nome: survey methodology) mostram que mudanças aparentemente inocentes na redação, na ordem ou nas opções de resposta alteram os resultados de forma mensurável. Um exemplo clássico: em experimentos conduzidos pela psicóloga Elizabeth Loftus nos anos 1970, pessoas assistiam ao vídeo de um acidente de carro. Quando perguntadas “a que velocidade os carros iam quando se esmagaram?”, as estimativas eram significativamente maiores do que quando o verbo era “se bateram”. Uma palavra mudou a memória do que as pessoas viram. Se uma palavra faz isso com uma memória, imagine o que faz com uma opinião. Todo mundo na Solvis, de vendas a suporte, deveria saber reconhecer uma pergunta ruim. Este artigo é o manual de anatomia. As 7 fraturas mais comuns de uma pergunta 1. A pergunta induzida (leading question) Ela já carrega a resposta desejada dentro de si. “Você gostou?” pressupõe que houve gosto, e as pessoas tendem a concordar com pressuposições, um fenômeno documentado chamado aquiescência (a tendência de responder “sim” independentemente do conteúdo). “O que achou?” abre espaço para qualquer resposta. Parecem iguais; medem coisas diferentes. 2. A pergunta dupla (double-barreled) Duas perguntas vestidas de uma. Impossível responder com uma nota só. E se foi rápido e grosseiro? A nota 3 significa o quê? Regra simples: um assunto por pergunta. Se tem “e” no meio, desconfie. 3. A pergunta que exige memória demais Ninguém lembra. O respondente não deixa em branco: inventa um número plausível. Pergunte sobre períodos curtos e experiências recentes, tema tão importante para nós que tem artigo próprio nesta série (O momento da verdade). 4. O jargão e a ambiguidade Cada respondente entende uma coisa, e a média de interpretações diferentes não significa nada. Use a linguagem do respondente, não a da empresa. E troque termos vagos por quantidades. 5. A escala torta A escala é metade da pergunta. Fraturas comuns: A referência clássica aqui é a escala Likert (proposta pelo psicólogo Rensis Likert em 1932): afirmação + graus simétricos de concordância, com ponto neutro. Simples, testada há quase um século, e ainda assim frequentemente mal copiada. 6. A ordem que contamina Perguntas anteriores criam contexto para as seguintes. Perguntar “qual foi o problema do seu atendimento?” antes de “qual sua satisfação geral?” faz a nota geral cair: o respondente foi convidado a lembrar do problema primeiro. Regra prática: do geral para o específico, e perguntas delicadas (incluindo dados pessoais) por último. 7. O questionário-maratona Cada pergunta a mais custa atenção, e atenção é o que o respondente tem de mais escasso. Questionários longos sofrem de abandono e de respostas em linha reta (o respondente marca tudo 5 só para acabar logo, fenômeno conhecido como straightlining). No ponto de venda, onde o cliente responde em pé, no caminho da saída, a disciplina é ainda mais brutal: cada pergunta precisa pagar o próprio aluguel. Se a resposta não vai mudar nenhuma decisão, a pergunta não deveria existir. O teste de bancada: 5 perguntas antes de publicar Antes de qualquer questionário ir a campo, submeta cada pergunta a este checklist: E o teste final, herdado do método científico: teste-piloto. Peça para 5 pessoas responderem na sua frente, falando em voz alta o que entendem de cada pergunta (a técnica formal se chama entrevista cognitiva). É impressionante o que 20 minutos disso revelam. Por que isso importa para nós O cliente da Solvis não compra “um totem”: compra respostas confiáveis. E não existe resposta confiável saída de pergunta ruim: viés na entrada, lixo na saída. Saber reconhecer uma pergunta fraturada é, portanto, uma competência que atravessa toda a operação de quem coleta dados de satisfação: de quem atende o cliente no dia a dia a quem desenha os questionários e os fluxos de coleta. Cada pergunta bem formulada é um voto de confiança no dado que ela vai gerar — e cada uma malfeita é um ponto cego que ninguém percebe até doer. De volta à Aurora Na Aurora, a pergunta dupla virou duas perguntas inteiras, cada uma com um dono claro do outro lado: recepção para a escala e o fluxo de senhas, equipe médica para a coordenação clínica. Na primeira semana de coleta, o mistério se desfez: equipe médica 4,8, recepção 3,8. A nota que a pergunta emendada teria misturado num 4,3 sem endereço apontava agora para a espera do balcão, invisível até então. O teste da Mari entrou no ritual de bancada da clínica: antes de publicar qualquer pergunta, alguém responde mal a ela de propósito, e a equipe confere se saberia o que consertar. Pergunta que não passa, não entra. O resumo de uma frase (teste Feynman) “A pergunta é uma balança: se ela estiver torta, não
