A lista de problemas sempre será maior que o orçamento. Priorizar é a decisão de gestão mais frequente que a pesquisa alimenta. Veja como fazer a priorização de melhorias sem virar um leilão de vieses. No Hotel Cambará Depois do semestre mais ouvido da história do Hotel Cambará, a parede da sala de reuniões virou um mural de post-its: quarenta melhorias apontadas pelos dados, uma ao lado da outra. Colchões do anexo, wi-fi do terceiro andar, fila do check-in, café da manhã que acaba cedo, estacionamento: quarenta soldados enfileirados. O efeito foi o contrário do pretendido. Nas três reuniões seguintes, a parede paralisou o hotel: tudo parecia urgente, começar por qualquer um parecia injusto com os outros trinta e nove, e a discussão recomeçava do zero a cada encontro. Otávio, o gerente-geral, resumiu o estado das coisas: — A gente descobriu quarenta problemas e criou o quadragésimo primeiro: essa parede. Ninguém sai daqui hoje até ela virar uma fila. O luxo de ter problemas demais Um programa de escuta funcionando produz um efeito colateral previsível: uma fila de problemas conhecidos maior que a capacidade de resolver. Fila no caixa, banheiro, estacionamento, ruptura de estoque, wi-fi, temperatura, um atendente específico… Qual primeiro? Sem método, a fila é furada pelos critérios de sempre: o problema mais recente (viés de recência), o mais dramático (disponibilidade), o do cliente que gritou mais alto (a amostra de um), ou o favorito do diretor (efeito halo hierárquico; no jargão de produto, o HiPPO, highest paid person’s opinion: a opinião de quem ganha mais decide). Este artigo organiza os métodos que substituem esse leilão de vieses. Ferramenta 1: o princípio de Pareto (a triagem) A observação empírica mais rentável da gestão de qualidade: os problemas não se distribuem uniformemente: poucas causas concentram a maioria das ocorrências. Joseph Juran, um dos pais do movimento da qualidade, batizou o padrão de princípio de Pareto (os “poucos vitais contra os muitos triviais”) e o transformou em ferramenta: ordene as categorias de problema por frequência e olhe a concentração. Tipicamente, 2 ou 3 categorias respondem por 60–80% das ocorrências. Na prática: as categorias dos comentários e das perguntas-diagnóstico (artigos As cinco dimensões da qualidade de serviço, Banco de 50 perguntas de satisfação e Quali e quanti) empilhadas num gráfico de barras ordenado. Trinta segundos de leitura e a fila de dez problemas vira uma triagem: os 2–3 vitais, e o resto. Duas ressalvas de série: confira se a concentração não é artefato de categoria larga demais (“atendimento” engole tudo; abra em subcategorias antes de concluir), e lembre que frequência de menção depende de quem responde (artigos Amostra e Quali e quanti). Ferramenta 2: frequência × impacto (a matriz que corrige o Pareto) Pareto ordena por volume, mas nem toda ocorrência pesa igual. A ruptura de estoque pode ser menos citada que a fila e ainda assim derrubar mais nota por ocorrência. A correção é cruzar dois eixos: O cruzamento gera a matriz com quatro cantos que se explicam sozinhos: frequente e grave (prioridade absoluta), raro e grave (previna e prepare a recuperação; artigo O ciclo fechado), frequente e leve (irritantes de escala: baratos de consertar costumam pagar bem), raro e leve (fila de espera). O refinamento fino vem do modelo Kano (spoiler do artigo Pesquisa e inovação): consertar básicos quebrados vale mais que polir encantamentos: a ausência de básico destrói mais nota do que o encanto constrói. Ferramenta 3: o ICE (o desempate executável) Impacto sozinho ignora o custo de agir. Para ordenar a fila final, o desempate prático (apresentado em Experimentos internos): ICE: Impacto (quanto move a experiência/o dinheiro; artigo O caso financeiro da satisfação), Confiança (que evidência sustenta a estimativa? A escada do artigo Achismo, opinião e evidência vira nota) e Esforço (custo, tempo, complexidade). Ranqueie, ataque do topo, e trate as notas como hipóteses: o piloto pequeno (artigo Experimentos internos) antes do rollout é o teste da nota de confiança. O fluxo completo da priorização de melhorias Repare no que o fluxo institucionaliza: a passagem do dado à decisão sem passar pelo leilão de vieses: cada etapa tem critério explícito que qualquer pessoa da equipe pode auditar (artigo A ética de quem pergunta: transparência) e desafiar (artigo Achismo, opinião e evidência: pelo degrau da evidência em vez do cargo). As quatro armadilhas da priorização Consertar o que é fácil em vez do que importa. O ICE mal usado degenera nisso: esforço baixo dominando a conta. Antídoto: impacto e esforço em colunas separadas e visíveis; “rápido e inútil” não pode se disfarçar de prioridade. Priorizar pela última reunião. A fila que muda a cada semana não é fila, é humor. A fila se revisa no rito mensal (artigo Rituais de gestão), com dado novo, e não a cada comentário forte (artigo Coincidências acontecem: rajada abre uma pergunta, sem valer como veredito). Atacar a fila inteira de uma vez. A lição central de As 4 Disciplinas da Execução (McChesney, Covey e Huling): o inimigo da execução não é a falta de plano, é o “vendaval”, o dia a dia operacional que consome toda a energia da equipe e devora as iniciativas de melhoria uma a uma. A fila mais bem ranqueada do mundo morre se virar oito frentes simultâneas: quem está imerso na operação executa uma ou duas melhorias por vez, com começo, meio e verificação, antes de puxar a próxima. Priorizar não é só ordenar a fila; é ter a disciplina de deixar o resto dela esperando. Esquecer o problema raro e catastrófico. Pareto é cego para o que quase não acontece mas destrói (a intoxicação, o vazamento, o episódio viral). Esses não disputam a fila de frequência: têm fila própria, de prevenção e preparo, assunto do artigo Gestão de crise guiada por pesquisa. De volta ao Cambará No Cambará, a parede virou fila em uma tarde, com três ferramentas em sequência. O Pareto triou: seis post-its concentravam 70% das reclamações. A matriz de frequência e impacto separou, desses seis, o que doía muito do que só acontecia
Metas de satisfação bem desenhadas: ambição sem maquiagem
A meta errada não melhora a experiência; ensina a equipe a melhorar o número. Veja como desenhar metas de satisfação sem maquiagem. Nas Lojas Andorinha Na visita de rotina à loja do Centro das Lojas Andorinha, rede de moda com trinta lojas, Sônia, a diretora de operações, notou o detalhe na sala da equipe: o quadro da meta anual, “4,8 PARA TODAS AS LOJAS!”, anunciado com festa no kickoff de janeiro, estava virado para a parede. Igor, o gerente, não pediu desculpas; explicou, com a franqueza de março: — A gente partiu de 4,1. O pessoal fez a conta na segunda semana: não alcança nem com milagre. A loja do shopping partiu de 4,6 e vai bater andando. Mesma meta, corrida diferente. Meu time desistiu em fevereiro, e eu virei o quadro porque olhar para ele estava piorando o turno. Sônia anotou a cena no relatório com uma linha que doeu na diretoria: “a meta única, pensada para unir a rede, está produzindo desistência em metade dela”. O paradoxo das metas de satisfação Metas movem organizações. Locke e Latham, os pesquisadores por trás da teoria de metas que sustenta os OKRs, mostraram que metas específicas e desafiadoras superam o “faça o seu melhor”. Mas metas sobre métricas de percepção carregam um risco que metas de produção não têm: a nota pode ser melhorada sem melhorar aquilo que ela mede. É a Lei de Goodhart (artigos NPS sem mistério, A ética de quem pergunta e Métricas de vaidade) no seu habitat predileto, e a série já catalogou o bestiário: caça à nota no balcão, totem “esquecido” desligado no turno caótico, amostra purificada. A saída não é desistir de metas de satisfação, e sim desenhá-las com a estatística e as salvaguardas que esta série apresentou. Este artigo é o manual de desenho. Regra 1: linha de base antes de ambição Nenhuma meta antes de conhecer três números da série histórica (mínimo de 6–12 meses): Regra de bolso: a variação prometida na meta deve ser confortavelmente maior que o vaivém natural da métrica; senão ninguém saberá, nem no fim do período, se ela foi batida de verdade (artigo Diferença real ou ruído?). Regra 2: meta no processo, resultado no radar A distinção mais útil do desenho de metas: indicadores de resultado (NPS, CSAT: o placar) versus indicadores de direção (os processos que os produzem: tempo de fila, % de detratores contatados em 48h, taxa de resolução no primeiro contato). O placar tem duas fraquezas como meta: a equipe não o controla diretamente (ele mistura o esforço dela com mix, sazonalidade e acaso; artigos Regressão à média, Sazonalidade e séries temporais e Comparações justas), e é goodhartizável pela via da maquiagem. Os indicadores de direção são o oposto: controláveis, auditáveis, difíceis de falsificar sem melhorar de fato. O desenho maduro: metas duras nos indicadores de direção; o resultado como radar de validação (“se fizermos fila < 8min e ciclo fechado > 90%, o NPS deve subir; se não subir, nossa hipótese de direção está errada”; e isso é uma ficha de experimento, artigo Experimentos internos). Assim a cobrança recai sobre o que a equipe controla, e o placar mantém o papel de juiz honesto em vez de refém. A distinção tem canon próprio: é a segunda disciplina de As 4 Disciplinas da Execução (McChesney, Covey e Huling), que manda concentrar a energia da equipe nas medidas de direção justamente pelas duas qualidades que o placar não tem: são preditivas (movê-las move o resultado) e influenciáveis (a equipe consegue agir sobre elas nesta semana, não no fim do trimestre). O radar de validação acima é a aposta deles em formato de ficha: se a direção andar e o placar não seguir, a hipótese estava errada. Regra 3: toda meta nasce com a guardiã ao lado O par métrica + guardiã (artigo Métricas de vaidade) não é opcional em metas com bônus: E a auditoria de caminho (artigos Regressão à média e Diferença real ou ruído?) institucionalizada: salto abrupto de métrica com bônus atrelado dispara investigação antes de comemoração: regra anunciada com antecedência e aplicada sem drama, o que protege os honestos. Regra 4: o alvo certo depende da distribuição Dois refinamentos que a estatística da série entrega de graça: Mova a distribuição, não a média. “Subir a média de 4,3 para 4,5” é meta cega (artigos Média mente e O formato dos dados: a média comprimida no teto esconde onde está o jogo). Metas melhores miram as pontas: reduzir % de notas baixas (ataca causas de detração e o custo, artigo O caso financeiro da satisfação) ou converter neutros em promotores (artigo NPS sem mistério). Cada uma pede ações diferentes; a meta de média não pede nenhuma em particular. Percentil para experiência, média para custo. Em métricas de cauda longa (espera, resolução; artigo O formato dos dados), a meta honesta é de percentil: “p90 da fila abaixo de 10 minutos”. A meta de média convive alegremente com desastres individuais semanais. Regra 5: metas relativas a si mesmo, não ranking absoluto O ranking único de rede (“as 10 piores lojas do trimestre”) tropeça em tudo que o artigo Comparações justas catalogou: mix, porte, base pequena nos extremos, e em regressão à média (artigo Regressão à média: o “programa das piores” sempre parecerá funcionar). Desenhos mais justos: melhoria contra a própria linha de base (cada loja contra sua história, na mesma janela sazonal), ou ligas de comparáveis. Efeito colateral valioso: elimina a desculpa estrutural (“minha loja é diferente”) e o desânimo do fundo da tabela. O checklist de aprovação de uma meta de experiência Antes de qualquer meta ir para o contrato ou para o bônus: Com sete “sims”, a meta melhora a empresa; com menos, ela tende a melhorar apenas o número. De volta à Andorinha Na Andorinha, as metas do semestre seguinte nasceram de outro jeito: linha de base primeiro (cada loja contra a própria história), ambição em cima do controlável (meta no processo: tempo de resposta aos casos, causas atacadas, fila do caixa)
Rituais de gestão: a cadência que transforma dado em decisão
Dashboard não gerencia nada. Quem gerencia é a reunião que olha para ele, se ela existir, tiver dono e acabar em ação. São os rituais de gestão que fazem o dado virar ação. No Sabor Central O relatório que estragou o café da manhã de Nelson, diretor de contratos do Sabor Central, empresa de refeições coletivas, não falava de comensais: falava de acessos. O dashboard dos contratos, orgulho da empresa, bonito de doer, tinha sido aberto 7 vezes no mês inteiro. Quatro delas pela própria equipe que o mantém. Enquanto isso, as reclamações urgentes da semana eram discutidas na reunião mensal, mortas de velhas, e as tendências de fundo apareciam em conversas de corredor, vivas e sem dono. O dado existia, a ferramenta existia, a boa vontade existia. O que não existia era hora marcada: nenhuma reunião da empresa tinha o painel como pauta, então o painel não tinha plateia. — A gente construiu um sino ótimo — resumiu Paula, a nutricionista-chefe — e esqueceu de combinar quando ele toca. O elo perdido dos rituais de gestão Entre o dado coletado e a empresa transformada existe um elo que quase nunca aparece nos diagramas: a agenda. Literalmente: as reuniões, os horários, os nomes na sala. Informação só vira gestão quando tem um encontro marcado com uma decisão. A ciência da qualidade formalizou isso nos anos 1950: o ciclo PDCA de Deming (planejar → executar → verificar → agir) só roda se o “verificar” tiver hora marcada. Empresas com programas de escuta excelentes no papel fracassam neste elo: o dado chega, e não há rito que o consuma. Este artigo desenha a cadência mínima: três ritmos, cada um com sua alçada, todos governados pelo mesmo princípio. E vale enfrentar de frente o preconceito da moda: reunião não é o inimigo. Andy Grove, que comandou a Intel com mentalidade de engenheiro de produção, deu a essa tese sua formulação mais direta em High Output Management: a reunião é o meio pelo qual o trabalho de gestão acontece, e a pergunta certa nunca é “ter ou não ter reuniões”, e sim se cada uma tem formato, papel e cadência certos. A distinção dele organiza este artigo: reuniões de processo (regulares, que consomem informação em ritmo previsível) e reuniões de missão (pontuais, convocadas para produzir uma decisão específica). Os três rituais de gestão a seguir são reuniões de processo; a revisão de operações que Grove rodava na Intel é o ancestral direto do Ritual 2. O princípio: cada ritmo olha uma coisa diferente O erro universal das reuniões com dados é todas olharem o mesmo número do mesmo jeito: tipicamente, a diretoria discutindo o caso individual de terça-feira e o gerente tentando explicar a tendência trimestral. A divisão correta segue a estatística da série: Misturar as camadas produz os dois patológicos clássicos: a diretoria “tampering” em ruído diário (artigo Sazonalidade e séries temporais; Deming avisou) e a operação anestesiada para a tendência lenta que ninguém tem mandato de discutir. Ritual 1 — O semáforo diário (loja, 10 minutos) Quem: gerente da unidade com a equipe do turno. Olha: os alertas de ontem: detratores a contatar (com prazo, artigo O ciclo fechado), comentários abertos do dia, o número do dia contra o dia equivalente (terça com terça, artigo Sazonalidade e séries temporais). As três perguntas do rito: algum cliente precisa de resposta hoje? Algum comentário aponta algo consertável agora (o freezer, a fila das 12h)? Algo a escalar para cima? O placar do rito é o do jogador, não o do técnico. A observação é de As 4 Disciplinas da Execução (McChesney, Covey e Huling): equipe se engaja quando marca os próprios pontos num placar simples, visível e atualizado por ela mesma (os detratores de ontem, os contatos feitos, o número do dia contra a terça passada). O dashboard completo, com vinte recortes, é ferramenta da matriz; no turno, ele anestesia em vez de mobilizar. O que NÃO fazer: discutir tendência com dado de um dia (artigo Amostra: 8 respostas não são pesquisa) ou premiar/cobrar pelo número diário (artigo Regressão à média: o vaivém fabrica heróis e culpados por sorteio). Ritual 2 — A revisão de padrões (regional/processo, mensal, 1 hora) A reunião mais importante do sistema, e a mais malfeita do mundo corporativo. Quem: dono do processo com gerentes das unidades. Olha: séries com contexto sazonal (YoY, médias móveis; artigo Sazonalidade e séries temporais), distribuição além da média (artigos Média mente e O formato dos dados), categorias dos comentários (artigos As cinco dimensões da qualidade de serviço e Quali e quanti), o funil do ciclo fechado (% de detratores contatados em 48h; artigo O ciclo fechado). As regras de ouro desta reunião, destiladas da série inteira: Ritual 3 — A revisão estratégica (diretoria, trimestral) Olha: tendências longas contra metas (artigo Metas de satisfação bem desenhadas), o caso financeiro em atualização (artigo O caso financeiro da satisfação: casos fechados e valor capturado), decisões de investimento que a escuta está pedindo (a obra, o sistema, o quadro de pessoal), e a saúde do próprio programa (taxa de resposta, cobertura, integridade; os pares métrica + guardiã do artigo Métricas de vaidade). É aqui que a voz do cliente disputa orçamento de igual para igual, o estágio 3 de maturidade do artigo Voz do Cliente. Se o cliente só é citado nas reuniões “de CX”, o programa parou no estágio 2. A liturgia comum dos rituais de gestão (o que vale para os três ritos) Comece pelo cliente, literalmente. Um comentário verbatim (artigo Quali e quanti) ou uma ligação de recuperação da semana abre a reunião. Não é cerimônia: é o antídoto contra a abstração, porque número anestesia e história mobiliza (artigo Data storytelling). Proibido debate de achismo em assunto mensurável. A escada do artigo Achismo, opinião e evidência pendurada na parede: “em que degrau está essa afirmação?” é pergunta legítima de qualquer participante para qualquer participante, inclusive para o chefe. Ata de decisões, não de discussões. O registro que importa: o que decidimos, quem faz, até
O caso financeiro da satisfação: quanto vale um ponto de NPS?
Experiência do cliente não é “coisa boa de se fazer”: é uma tese de investimento. E teses se defendem com números. Este é o caso financeiro da satisfação. Na Academia Ritmo Na reunião de orçamento da Academia Ritmo, rede de academias com três unidades, o contador chegou com a planilha anual e uma linha marcada em amarelo: “pesquisa de satisfação”. A proposta era educada e letal: cortar 60%. “É a linha mais fácil: não fecha unidade, não demite professor. E, com respeito, não consigo apontar o retorno.” Fábio, o dono, começou a responder com convicção e parou no meio da frase, com uma honestidade rara: a convicção era dele, mas a conta não existia. Em anos de pesquisa, a academia nunca tinha montado o caminho do dinheiro: quanto vale o aluno que fica mais um ano, o que traz o amigo, o que migra para o plano anual, o que custa menos atender. — Me dá noventa dias — disse ele. — Se a conta não fechar, o corte é seu. Se fechar, a linha amarela vira investimento no seu relatório. A pergunta do CFO: onde está o caso financeiro? Toda iniciativa de experiência do cliente eventualmente encontra a pergunta que a define: “e isso dá quanto de retorno?” Times de CX que respondem com adjetivos (“fideliza!”, “encanta!”) perdem o orçamento para quem responde com contas. A boa notícia: as contas existem, a evidência acumulada é farta, e o raciocínio cabe neste artigo. A má notícia (que é boa notícia para quem faz direito): o elo satisfação → dinheiro depende de mecanismos específicos e nada automáticos. Conhecer esses mecanismos é o que separa o caso financeiro sério do slide de motivação. A evidência de fundo: satisfação prevê resultado O elo agregado está bem documentado. O ACSI (The American Customer Satisfaction Index) permitiu testar a relação em escala: estudos liderados por Claes Fornell e colegas mostraram que empresas com satisfação consistentemente alta entregam retornos financeiros e de mercado superiores, e carteiras montadas com as líderes de satisfação bateram o mercado em horizontes longos (Fornell et al., Journal of Marketing, 2006; Anderson, Fornell e Mazvancheryl, 2004, documentaram a associação entre satisfação e valor ao acionista). Cautela metodológica de praxe (veja Diferença real ou ruído?): correlação em painel não é cheque em branco causal: empresas bem geridas tendem a ter clientes satisfeitos e bons resultados. Mas os mecanismos que ligam uma coisa à outra são observáveis, testáveis dentro de casa, e é neles que a gestão trabalha. Os cinco mecanismos (onde a satisfação vira dinheiro) 1. Retenção: o cliente que não foi embora.O mecanismo mais estudado. Reichheld e Sasser publicaram na HBR, em 1990, a análise clássica: pequenas melhorias na retenção têm efeitos desproporcionais no lucro, porque cliente retido dilui custo de aquisição, tende a comprar mais com o tempo e custa menos para servir. A conta local: qual o valor médio de um cliente/ano × quantos detratores viram ex-clientes × quantos a recuperação salva (artigo O ciclo fechado: o ciclo interno tem ROI direto por aqui). 2. Boca a boca: o marketing que a operação fabrica.Promotores indicam; detratores desindicam, com alcance assimétrico (a reclamação viaja mais). O custo de aquisição evitado por indicação é mensurável: pergunte “como nos conheceu?” (pergunta 41 do banco, artigo Banco de 50 perguntas de satisfação) e acompanhe a fração “indicação” ao longo do tempo contra a evolução do NPS. 3. Carteira: o cliente satisfeito compra mais.Frequência, tíquete, categorias adicionais. O teste interno é o cruzamento (com os cuidados que toda correlação exige): clientes promotores gastam mais depois de virarem promotores? A ordem temporal ajuda a separar causa de seleção. O quarto mecanismo é o preço, e ele funciona porque a satisfação compra tolerância. Clientes satisfeitos aceitam reajustes com menos evasão, ou seja, a elasticidade-preço cai com a lealdade. Em tempos de inflação de custos, isso vira o colchão que amortece o repasse. O quinto costuma ser esquecido: a operação que erra menos gasta menos. Insatisfação custa caro para dentro, em retrabalho, trocas, compensações, tempo de gestão apagando incêndio e rotatividade de equipe exausta (artigo O elo colaborador-cliente). Reduzir a causa-raiz dos detratores (ciclo externo, artigo O ciclo fechado) é projeto de redução de custo tanto quanto de receita. Montando o caso na prática: a árvore do ROI O caso financeiro de um programa (ou de uma melhoria específica) se monta em quatro passos, todos com ferramentas já apresentadas na série: E o teste contínuo do programa: decisões que mudaram por causa da escuta, com valor estimado. O portfólio de “casos fechados” vale mais que qualquer correlação de slide. As duas armadilhas do caso financeiro A promessa linear. “Cada ponto de NPS vale R$ X” é retórica perigosa: a relação não é linear (sair de 20 para 30 ≠ sair de 70 para 80), varia por setor e por mecanismo dominante, e vira meta goodhartizável na hora (artigos NPS sem mistério e Métricas de vaidade). Prefira sempre a versão por mecanismo: “reduzir detratores de fila em 30% vale ~R$ X em retenção”. O elo invertido no tempo. Resultado financeiro também melhora satisfação (empresa lucrativa investe mais em loja, gente e estoque), a flecha de mão dupla da causalidade. Por isso o caso sério se constrói com experimentos e casos fechados (mudança → movimento medido → resultado), não só com correlações de painel. De volta à Ritmo Na Ritmo, os noventa dias renderam a árvore que faltava: retenção (alunos em risco recuperados pelo ciclo fechado, multiplicados pela mensalidade anual), indicação (matrículas que chegavam com “vim porque me falaram”), carteira (migrações para o plano anual entre os satisfeitos), preço (o reajuste testado que não gerou êxodo) e custo (menos cancelamento, menos negociação de última hora na recepção). Premissas conservadoras, tudo auditável pelo contador, que ajudou a montar. A conta fechou com folga, e a linha amarela mudou de nome no orçamento seguinte, assinada por ele: de “pesquisa (despesa)” para “sistema de escuta (retenção de receita)”. Fábio guardou a lição: “o financeiro não compra fé; compra fluxo. E fluxo se
Como um gráfico mente: manual de defesa visual
Um gráfico enganoso pode estar 100% correto nos números e ainda assim mentir com a imagem. Aprenda a revistar os dois. Nas Lojas Andorinha O fornecedor de sistemas de fila chegou às Lojas Andorinha, rede de moda com trinta lojas, com uma proposta cara e um gráfico irresistível: a “explosão de conversão” de um cliente após adotar a solução, uma linha subindo como foguete. Metade da sala já fazia contas de instalação. Igor, gerente da loja do Centro, pediu licença, papel e régua. Refez o gráfico à mão, com o eixo começando no zero. O foguete pousou: a subida era de 4,31 para 4,42 em oito meses, um décimo honesto esticado por um eixo que começava em 4,25 e por uma janela que, por coincidência, abria exatamente no pior mês do cliente. — O número de vocês pode até ser bom — disse ele, virando o papel para o vendedor. — Mas o desenho está fazendo hora extra. O gráfico enganoso: a mentira que não precisa de números falsos O artigo Data storytelling ensinou a construir gráficos honestos. Este é o espelho: como ler os gráficos dos outros (relatórios de fornecedores, benchmarks de mercado, posts virais, propostas) com colete à prova de retórica visual. A premissa desconfortável: a maioria dos gráficos enganosos usa dados verdadeiros. A distorção mora nas escolhas visuais: eixo, escala, área, recorte, cor. Edward Tufte deu nome ao fenômeno nos anos 1980 e até propôs medi-lo (o “fator de mentira”: a razão entre o tamanho do efeito na imagem e o tamanho do efeito nos dados). Alberto Cairo, professor de visualização, escreveu o manual moderno do tema com um título que serve de lema: How Charts Lie. Eis as sete técnicas mais comuns, com o antídoto de cada uma. 1. O eixo Y truncado: o drama fabricado O clássico absoluto. A satisfação foi de 4,20 para 4,26, mas o eixo começa em 4,18, e a segunda barra fica quatro vezes tão alta quanto a primeira. Variação de 1,4% vira paredão visual. Antídoto: procure o zero do eixo (em gráficos de barra, ele é obrigatório: a barra codifica valor pela altura total). Em gráficos de linha, eixo cortado é aceitável para mostrar detalhe, desde que sinalizado. A pergunta-reflexo: “quanto isso mudou em números, mesmo?” E a régua do artigo Diferença real ou ruído?: essa mudança supera o ruído? Exemplo com dados fictícios. O aumento é de 0,06 ponto. Com a base em 4,18, a altura visível passa de 0,02 para 0,08: quatro vezes maior. 2. O duplo eixo: a correlação encomendada Duas linhas, duas escalas (uma à esquerda, outra à direita), calibradas para as curvas dançarem juntas. Com liberdade para escolher as duas escalas, quase qualquer par de séries “se acompanha”. É o gerador visual de correlações espúrias (o clássico das correlações espúrias, que “sincroniza” filmes de Nicolas Cage com afogamentos em piscinas, era exatamente isso). Antídoto: desconfie por padrão de eixos duplos; pergunte como ficaria cada série normalizada (variação %, base 100). Quem tem um caso sólido raramente precisa desse recurso. Exemplo com dados fictícios. À esquerda, as escalas fazem as curvas coincidir. À direita, a base comum revela aumentos de 6% e 60%; a coincidência visual não demonstra causalidade. 3. Área e volume: o exagero quadrático Para mostrar que B é o dobro de A, o designer desenha um círculo com o dobro do raio, que tem quatro vezes a área. Pictogramas que crescem em altura e largura, bolhas, moedas empilhadas em 3D: o olho lê área/volume, e a diferença real sai inflada ao quadrado (ou ao cubo). A defesa é lembrar que diferenças quantitativas se leem com segurança em comprimento (barras), não em área. Bolha bonita é para impressão geral; decisão pede barra. Exemplo com dados fictícios. Os dados dobram, mas a área do círculo quadruplica. As barras mostram a proporção correta. 4. O recorte temporal conveniente “Crescimento impressionante desde março!” E março foi o fundo do poço (escolhido a dedo). Toda série tem um ponto de partida que conta a história desejada; quem corta a janela escolhe a manchete. É a versão gráfica da regressão à média (Regressão à média) e da sazonalidade ignorada (Sazonalidade e séries temporais: comparar dezembro com janeiro em vez de dezembro com dezembro). Antídoto: peça a série mais longa (“como está contra o mesmo período do ano passado? e nos últimos 3 anos?”) e desconfie de janelas que começam em vales ou picos. Exemplo com dados fictícios. De março a junho, as vendas crescem 60%. Incluindo janeiro, o saldo até junho é uma queda de 20%. 5. O acumulado que nunca desce A escada rolante do artigo Métricas de vaidade em forma de gráfico: “total acumulado” sobe para sempre, mesmo com o negócio encolhendo. Primo dele: o gráfico de “crescimento do crescimento” (mostra a taxa, esconde que a taxa está caindo). Nos dois casos, peça a métrica por período, ou seja, novos por mês em vez de total desde a fundação. Se o apresentador resistir, você já sabe por quê. Exemplo com dados fictícios. O acumulado chega a 300 clientes, enquanto a aquisição mensal cai de 100 para 20. São os mesmos dados, respondendo a perguntas diferentes. 6. A escala e o mapa que distorcem Escalas logarítmicas apresentadas sem aviso (achatam explosões e dramatizam começos); mapas onde área geográfica vira proxy de importância (municípios enormes e vazios dominam a tela, o “problema do mapa eleitoral”); cores escolhidas para alarmar (vermelho para variação de 0,1). Antídoto: leia a legenda e a escala antes do desenho. São os 5 segundos mais rentáveis da leitura de qualquer gráfico. E lembre-se de que cor não é dado: é editorial. Exemplo com dados fictícios. Este exemplo ilustra a escolha da escala: distâncias iguais no eixo logarítmico representam multiplicações, não acréscimos iguais. A escala logarítmica é válida, mas precisa ser identificada. 7. O gráfico sem contexto de incerteza Barras comparando lojas com 30 respostas cada, sem margem de erro; linhas de “tendência” traçadas sobre 3 pontos; o ranking em que o 1º e o
Coincidências acontecem: a lei dos números muito grandes
Com tentativas suficientes, o improvável vira rotina, e o cérebro humano vira caçador de fantasmas. É a lei dos números muito grandes em ação. No Supermercado Farol O painel novo do Supermercado Farol, rede com cinco lojas, cruzava tudo com tudo: nota por dia da semana, por clima, por horário, por seção, por loja. Foi lá que Caio, o gerente da loja principal, garimpou o achado que anunciou por e-mail com assunto em caixa alta: “DESCOBERTA: terças-feiras de chuva têm nota 0,4 acima da média!”. Já havia até esboço de plano: promoção de dia de chuva, para surfar o fenômeno. A analista da rede respondeu com uma conta em vez de uma opinião. Entre cortes e combinações, o painel oferecia alguns milhares de cruzamentos possíveis. Em milhares de tentativas, o acaso não é um risco: é uma fábrica. Alguma “terça chuvosa” sempre aparece, como num caça-níquel de alavanca puxada o dia inteiro: de vez em quando três limões se alinham, e ninguém chama de milagre. O milagre estatisticamente obrigatório: a lei dos números muito grandes Qual a chance de alguém ganhar na loteria duas vezes? Praticamente nula, para você. Mas para alguém, em algum lugar, algum dia? Quase certa. Milhões de pessoas jogando, semana após semana, ano após ano: em algum ponto, o “milagre” é aritmeticamente inevitável, e sempre vira notícia, porque noticiamos o ganhador, nunca os milhões de não ganhadores ao lado dele. Os estatísticos Persi Diaconis e Frederick Mosteller, num artigo clássico sobre o estudo de coincidências, formularam a lei dos números verdadeiramente grandes: com uma amostra suficientemente grande, qualquer coisa escandalosa tende a acontecer. Sem magia, sem conspiração: só multiplicação. A consequência para quem trabalha com dados é direta: uma empresa que monitora muitas métricas, em muitas lojas, todos os dias, está rodando milhões de “tentativas”, e vai testemunhar “milagres” estatísticos toda semana. Saber disso muda a leitura de metade dos alarmes. O cérebro odeia o acaso (e inventa histórias) O acaso verdadeiro é desconfortável de olhar. O cérebro humano, uma máquina de padrões, prefere qualquer história a nenhuma: A falácia do apostador. Deu “cara” cinco vezes seguidas; agora “tem que” dar coroa. Não tem: a moeda não tem memória, e a probabilidade segue 50%. No trabalho, o mesmo raciocínio veste terno: “tivemos três meses ruins, estatisticamente agora melhora” (não existe “estatisticamente” nessa frase; existe esperança) ou “essa loja já deu problema demais este ano, a cota dela acabou”. O acaso não distribui cotas. Sequências aleatórias parecem intencionais. Pergunte a alguém para “inventar” 50 lançamentos de moeda: a pessoa alterna demais, evitando sequências longas, porque CCCCC “não parece aleatório”. O acaso real é cheio de rajadas: em 100 lançamentos honestos, uma sequência de 6+ caras seguidas é mais provável que não. Tradução: cinco avaliações negativas em sequência no mesmo turno podem ser perfeitamente compatíveis com uma operação estável (as “8 respostas de segunda-feira” do artigo Amostra, vistas pela lente da probabilidade). Uma rajada dessas merece verificação, mas só a persistência confirma alguma coisa (Diferença real ou ruído?). A mão quente. O estudo famoso de Gilovich, Vallone e Tversky (1985) analisou arremessos no basquete e concluiu que a “mão quente” (o jogador “embalado” que “não erra mais”) era em grande parte ilusão de percepção sobre sequências aleatórias. (Honestidade científica: análises modernas, como a de Miller e Sanjurjo em 2018, mostraram um erro sutil no método original; algum efeito real de mão quente parece existir, menor do que a crença popular. A lição dupla é ainda melhor: o instinto humano superestima padrões em rajadas, e até cientistas revisam conclusões diante de método melhor.) Onde isso morde: o alarme que se pesca sozinho Junte a lei dos números muito grandes com o hábito de olhar dashboards fatiados (pegadinha 4 do artigo Diferença real ou ruído?) e nasce o monstro doméstico: Uma rede com 50 lojas × 10 métricas × 30 dias = 15.000 números por mês. Se cada número tem 1% de chance de parecer “anômalo” por puro acaso, são ~150 anomalias mensais fabricadas pelo nada. Quem sai caçando explicação para cada uma vai encontrar: o cérebro fornece a história com prazer (a obra na rua! o gerente novo! a chuva!), e a empresa passa a gerenciar fantasmas, exatamente o “tampering” contra o qual Deming alertava (Sazonalidade e séries temporais). As defesas já estão espalhadas pela série; aqui, reunidas: Espere X falsos alarmes por mês: literalmente calcule o X. Se o painel monitora N números com limiar de “5% de estranheza”, N × 5% alarmes mensais são o aluguel estatístico do painel. Só o excedente merece investigação. Rajada vira hipótese; repetição vira caso. Anomalia detectada na pescaria só é promovida a fato se persistir em dados novos (veja Achismo, opinião e evidência e Diferença real ou ruído?). O acaso não sustenta performances longas. Pergunte “quantas tentativas houve?” antes de se impressionar com qualquer coincidência: do cliente que reclamou duas vezes no mesmo dia (“quantos clientes temos?”) à métrica que “sempre cai na sexta” (“em quantas sextas olhamos?”). Cuidado redobrado com o que foi encontrado versus o que foi previsto. A previsão registrada antes (“apostamos que o turno da noite cairá”) que se confirma vale muito; o padrão achado depois, vasculhando, vale pouco até segunda ordem; é a ficha de experimento (Experimentos internos) protegendo contra o atirador que desenha o alvo em volta do tiro. O outro lado: não vire cético de pedra A lição não é ignorar padrões, e sim precificar o acaso antes de comprar a história. Rajadas reais existem: o freezer que quebrou gera mesmo cinco reclamações seguidas; o funcionário novo gera mesmo uma sexta-feira ruim. A diferença entre o fantasma e o fato não está na cara do padrão (rajadas aleatórias e causais são idênticas de perto); está no teste: causa real deixa outras digitais (o comentário aberto citando o freezer; veja Quali e quanti) e persiste ou se repete sob observação. Fantasma evapora na amostra seguinte. De volta ao Farol No Farol, a descoberta das terças chuvosas recebeu o tratamento que o acaso merece: virou
Comparações justas: per capita, normalização e benchmarking honesto
A loja gigante sempre “vence” em totais e a butique sempre “vence” em porcentagens: comparação justa começa escolhendo o denominador certo. É a base do benchmarking honesto. Nas Lojas Andorinha O ranking mensal das trinta lojas da rede Andorinha era impresso e colado na copa de cada uma. E todo mês contava a mesma história: a loja do Centro em último. A equipe já nem olhava o quadro; o líder de vendas tinha parado de mencionar o ranking, “para não desanimar mais ninguém”. Igor, o gerente, levou o incômodo para Sônia, a diretora de operações, com números em vez de queixa: a loja do Centro atendia o triplo de clientes das outras, quase tudo público de passagem, de rua, com pressa, o perfil que avalia mais duro em qualquer lugar do mundo. As lojinhas de bairro, pequenas e de clientela cativa, ocupavam o pódio todo mês. — O quadro compara notas — resumiu ele. — Mas ninguém ali está correndo a mesma prova. O campeonato viciado e o benchmarking honesto O ranking mensal da rede: a megaloja do shopping lidera em elogios recebidos (claro: recebe muito mais clientes), enquanto a lojinha de bairro lidera em % de notas máximas (claro: 40 clientes fiéis que conhecem a dona pelo nome). Cada uma “vence” na métrica que seu tamanho favorece, e o ranking premia geografia e metragem, não gestão. Comparar coisas de tamanhos diferentes é provavelmente a operação estatística mais comum da gestão, e uma das mais malfeitas. Este artigo reúne as regras da comparação justa. Regra 1: totais comparam tamanhos; taxas comparam desempenhos “São Paulo tem mais acidentes que Roraima” diz mais sobre população do que sobre trânsito. A correção universal é o per capita: dividir pelo denominador que neutraliza o tamanho. Reclamações por mil atendimentos, elogios por cem respostas, vendas por metro quadrado, respostas por totem por dia. A escolha do denominador é uma decisão de mérito, não de matemática: reclamações por cliente ou por transação? Vendas por loja ou por funcionário? Cada denominador responde uma pergunta diferente, e quem escolhe o denominador escolhe o vencedor (a mina 4 do artigo Porcentagem, ponto percentual e o crescimento de 300%, agora em versão ranking). O hábito da casa: denominador nomeado no título da métrica, sempre. Regra 2: taxa sem volume também engana (o retorno da base pequena) Corrigido o tamanho, nasce o vício oposto: a lojinha de 40 respostas com “98% de satisfação” no topo do ranking. Taxas de bases minúsculas balançam loucamente (veja Amostra e Diferença real ou ruído?): os primeiros e últimos lugares de qualquer ranking de taxa tendem a ser as unidades menores, pela pura matemática da variância (é o fenômeno que faz escolas pequenas dominarem simultaneamente os topos e os fundos dos rankings educacionais, um exemplo clássico da literatura estatística). Correções práticas, em ordem de sofisticação: exigir n mínimo para entrar no ranking; mostrar a taxa com margem de erro (barras de incerteza matam brigas de ranking na hora); ou agrupar unidades em ligas por porte e comparar dentro de cada liga. Regra 3: compare o comparável (ou ajuste pelo mix) Mesmo com taxas e n adequados, resta a pergunta: as unidades jogam o mesmo jogo? A loja de rodoviária atende viajantes apressados; a de bairro, vizinhos recorrentes. Público, horário, mix de produto e região mudam a nota sem que a gestão mude: é o paradoxo de Simpson (Média mente) e o mix de horário (Sazonalidade e séries temporais) na escala da rede. As defesas, da mais simples à mais trabalhosa: Ligas/clusters: comparar rodoviária com rodoviária, shopping com shopping. Comparar cada unidade consigo mesma: a evolução da loja contra a própria história (veja NPS sem mistério e Sazonalidade e séries temporais) é imune ao mix estrutural; por isso é a comparação padrão mais segura. Padronizar o recorte: comparar todas as lojas no mesmo tipo de hora (o almoço de A contra o almoço de B). E o teto de sofisticação, para conversas de benchmarking externo: ajustes por perfil, como os usados em comparações de hospitais e escolas (ninguém compara mortalidade de um hospital de trauma com uma clínica de check-up sem ajuste de risco). Se a saúde precisa disso para comparar hospitais, o varejo precisa da versão simples disso para comparar lojas. Regra 4: cuidado com o índice composto (a média de maçãs com parafusos) A tentação final do benchmarking: fundir tudo num “score geral”: 40% satisfação + 30% tempo de espera + 30% conversão = Índice da Loja. Índices compostos são úteis para comunicar (um número, um ranking), mas carregam três pegadinhas que quem os consome precisa conhecer: Os pesos são opinião vestida de matemática. Por que 40/30/30 e não 50/25/25? A escolha muda o campeão, e raramente é debatida com a seriedade de qualquer outra decisão editorial. Peso é hipótese: merece justificativa e revisão. O índice esconde os movimentos internos. O score fica estável enquanto satisfação despenca e conversão sobe, duas notícias enormes que se cancelam no agregado (a lição de Média mente, uma escala acima). Índice bom vem sempre com o “abre” dos componentes. Componentes em escalas diferentes precisam de normalização, e a normalização tem escolhas. Transformar minutos, notas e % numa régua comum (0–100, percentis, z-scores) envolve decisões técnicas que mudam resultados. Não é errado; é editorial, e deve estar documentado. Regra da casa para índices (próprios ou de mercado): antes de aceitar o ranking, pedir os componentes, os pesos e a justificativa dos pesos. Quem não fornece os três está pedindo fé em vez de oferecer análise. O checklist da comparação justa Diante de qualquer ranking, benchmark ou “loja X vs. loja Y”: É total ou taxa? Se total, o ranking mede tamanho. Qual o denominador, e ele é o mesmo para todos? Qual o n de cada unidade? Topos e fundos de ranking são território de base pequena. As unidades jogam o mesmo jogo? (mix, público, horário), ou estou comparando rodoviária com bairro? Se é índice composto: quais os componentes, os pesos, e quem os escolheu? E a alternativa que
Porcentagem, ponto percentual e o crescimento de 300%
A aritmética mais simples do escritório é a que mais engana, quase sempre sem má intenção. E tudo começa na diferença entre porcentagem e ponto percentual. No Supermercado Farol Foi um dia de duas festas no Supermercado Farol, rede com cinco lojas. De manhã, o marketing comemorou em post interno: “cadastros no clube de fidelidade cresceram 300%!”. À tarde, a operação anunciou na reunião: “reclamações do açougue caíram 50%!”. Dona Ivone, a fundadora, aplaudiu as duas e, por via das dúvidas, pediu os números por trás dos por cento. As festas murcharam juntas. Os cadastros tinham ido de 12 para 48, num universo de nove mil clientes por semana: o 300% era verdadeiro e, por enquanto, irrelevante. As reclamações tinham caído de 2 para 1, na semana de feriado em que o movimento inteiro caíra junto. Ivone devolveu os dois slides com a mesma anotação na margem, a lápis: “por cento de quê? e quanto é isso em gente?” O quiz de um minuto Três afirmações, todas tecnicamente verdadeiras, todas potencialmente enganosas: “Nossa taxa de resposta subiu 10%.” “As reclamações cresceram 300%!” “A ação caiu 50% e depois subiu 50%: voltamos ao ponto de partida.” A terceira é falsa na conclusão (caiu de 100 para 50; subiu 50% de 50 = 75; faltam 25%). A segunda pode descrever “de 1 para 4 reclamações”. E a primeira é ambígua a ponto de significar duas coisas com um abismo entre elas. Porcentagem é a língua franca dos negócios, e um campo minado aritmético. Este artigo desarma as cinco minas mais pisadas e, no fim, mostra que todas elas já estavam catalogadas em 1954. Mina 1: por cento × ponto percentual A taxa de resposta era 40% e foi para 44%. Ela subiu: 4 pontos percentuais (a diferença absoluta: 44 − 40), e 10 por cento (a variação relativa: 4 é 10% de 40). As duas frases descrevem o mesmo fato, mas “subiu 10%” sugere, para metade da sala, que a taxa foi de 40% para 50%. Em métricas que já são porcentagens (taxa de resposta, % de detratores, participação), a confusão é sistemática e às vezes conveniente: “reduzimos a insatisfação em 20%!” soa melhor que “de 10% para 8%”. Regra da casa: variações de métricas percentuais se reportam sempre em pontos percentuais (abreviado p.p.): “subiu 4 p.p., de 40% para 44%”. O NPS, que já é uma subtração de porcentagens (NPS sem mistério), idem: “o NPS subiu 6 pontos”, nunca “6%”. Mina 2: o crescimento espetacular sobre base minúscula “Reclamações sobre o app cresceram 300%.” Pânico? Depende: eram 2, viraram 8. Num universo de 5.000 respostas, isso é estatisticamente invisível (veja Amostra e Diferença real ou ruído?), mas a manchete de 300% viaja pela empresa causando reuniões. Variação relativa amplifica bases pequenas: qualquer coisa rara que dobre “cresceu 100%”. O inverso também engana: um problema gigante que melhora pouco gera porcentagem tímida (“as filas caíram 3%” pode ser a melhor notícia do ano em volume absoluto de clientes beneficiados). Regra da casa: porcentagem de variação nunca viaja sozinha: sempre com os valores absolutos ao lado, como em “de 2 para 8 casos (+300%)”. A dupla desarma tanto o pânico quanto o triunfalismo indevidos. E antes de reagir a qualquer variação percentual, a pergunta do artigo Amostra: quantos casos são? Parênteses para a vida: esse é o recurso preferido dos jornalistas, em manchetes para impressionar a audiência (“casos de X triplicam!”) sem dizer que eram dois e viraram seis. Tome cuidado: a pergunta “quantos casos são?” vale para o jornal da manhã tanto quanto para o slide da tarde. Mina 3: subiu e desceu não se cancelam Quedas e altas percentuais são assimétricas: cair 50% exige subir 100% para voltar. Uma nota que cai 20% e sobe 20% termina 4% abaixo do início. Parece pedantismo até aparecer em decisão real: “perdemos 30% das respostas na mudança do fluxo, mas já recuperamos 30%” significa que ainda faltam 9%, e o slide de “recuperação completa” está errado. Por isso, em voltas e comparações multiperíodo, a regra da casa é comparar níveis (“estávamos em X, estamos em Y”) em vez de empilhar variações. Mina 4: porcentagem de quê? (o denominador escondido) Toda porcentagem é uma fração usando chapéu de número, e quem escolhe o denominador escolhe a história: “80% dos que responderam” ≠ “80% dos clientes” (a diferença é a taxa de resposta e seu viés; veja Amostra e O momento da verdade). “% de reclamações sobre atendimento entre as reclamações” pode subir porque o atendimento piorou ou porque as outras categorias melhoraram. Proporção interna muda sem que nada mude no numerador: é matemática de fatia de pizza: uma fatia cresce quando outra encolhe. “Satisfação de 92% entre clientes ativos” pode melhorar simplesmente porque os insatisfeitos foram embora: o denominador foi purificado pela evasão (viés de sobrevivência, na sua forma mais elegante). Regra da casa: diante de qualquer porcentagem, pergunte em voz alta: “por cento de quê, exatamente?”, e se o denominador pode ter mudado junto. É a pergunta irmã do “número solto é achismo com dígitos” (veja Achismo, opinião e evidência). Parênteses para a vida: essa é uma das formas de distorcer fatos nas pesquisas eleitorais. O mesmo candidato pode ter “40% dos votos válidos” e “31% do total de entrevistados”; a diferença são os brancos, nulos e indecisos que saíram do denominador. Os dois números são verdadeiros, e a campanha escolhe o que lhe convém. Tome cuidado. Mina 5: porcentagens não se somam nem se tiram média (quase nunca) Duas armadilhas de planilha: Média de porcentagens sem peso: a loja A tem 90% de satisfação com 1.000 respostas; a B, 50% com 10 respostas. “Média da rede: 70%”? Não: a média correta, ponderada pelo volume, é ~89,6%. Tirar média simples de taxas com bases diferentes dá voz de gigante a amostras anãs (e é primo do paradoxo de Simpson, explicado em Média mente). Somar porcentagens de perguntas multi-resposta: nas caixas de seleção (O cardápio de perguntas), as opções somam mais de 100%: cada
O formato dos dados: nem tudo é um sino
Antes de calcular qualquer coisa, pergunte que forma os dados têm: o resumo certo depende do desenho, e é o histograma de dados que o revela. No Hotel Cambará A média do mês do Hotel Cambará veio redonda: 4,6. Slide pronto, mês dado como bom. Mari Ferreira, consultora da Solvis, pediu uma coisa antes de arquivarem: o desenho. Não a média: o histograma, as notas empilhadas por valor. O desenho contou outra história. A pilha encostava no teto do 5, escorria pelo 4, e lá embaixo, quase discreta, uma cauda de notas 1 e 2: 6% das estadias, concentradas, quando abriram os cortes, nos check-ins depois das 22h e nos quartos do anexo antigo. A média 4,6 engolia aquela cauda sem soluçar: matematicamente correta, humanamente cega para os oitenta hóspedes do mês que tinham dormido mal. E hóspede que dorme mal escreve avaliação pública. — O seu mês não foi “4,6” — disse Mari. — Foi ótimo para muitos e péssimo para alguns. São duas gestões diferentes. O histograma de dados: o retrato antes da legenda Um histograma (a contagem de quantos casos caem em cada faixa) é o retrato de uma métrica. Média, mediana e desvio padrão são legendas desse retrato. E legenda sem retrato engana: o quarteto de Anscombe (Média mente) provou que resumos idênticos podem descrever desenhos opostos. Este artigo é um álbum dos quatro retratos que mais aparecem na análise de dados de satisfação, e do que cada um exige de quem o lê. Retrato 1: o sino (distribuição normal) O formato célebre: simétrico, amontoado no centro, raro nas pontas. Aparece quando o valor resulta de muitos fatores pequenos e independentes se somando: alturas de pessoas, erros de medição, médias de amostras grandes. É o lar da regra 68/95 (Desvio padrão sem dor) e o pressuposto silencioso de muitas ferramentas estatísticas. O erro cultural é achar que ele é o padrão do mundo. Não é. No dia a dia dos negócios, o sino é minoria e assumi-lo onde não existe produz as leituras erradas dos próximos três retratos. Retrato 2: a cauda longa (assimetria) Tempos de espera, tíquete de compra, tempo de resolução de chamado: quase todos os valores são modestos, mas uma minoria se estica numa cauda longa para a direita. Não há tempo de espera negativo, mas há o dia em que o sistema caiu e a fila levou 50 minutos. Consequências práticas: Média > mediana, em geral. A cauda puxa a média para cima do caso típico (o bilionário no bar, do artigo Média mente). “Tempo médio de espera: 9 minutos” pode conviver com “metade dos clientes espera menos de 5”. A ferramenta certa são os percentis. O valor abaixo do qual fica X% dos casos: a mediana é o p50; o p90 diz “90% dos clientes esperam menos que isto”. A engenharia de software gerencia latência de sistemas assim há décadas reportando p90/p95/p99 em vez de médias, precisamente porque a experiência ruim mora na cauda. Para operações de fila e atendimento, vale a mesma lente: a média mede o custo; o p90 mede a raiva. Metas honestas falam de percentil. “Atender em até 10 minutos em 90% dos casos” é uma promessa gerenciável e medível; “tempo médio de 8 minutos” pode ser cumprida enquanto um cliente por hora vive um desastre. Retrato 3: os dois morros (bimodal) Duas corcovas no histograma = duas populações misturadas vivendo experiências distintas: o almoço executivo e o jantar de sábado; o cliente novo e o habitual; o caixa humano e o autoatendimento. A média de uma bimodal cai no vale entre os morros, exatamente onde quase ninguém está. É o retrato mais traiçoeiro para resumos: qualquer número único descreve um cliente que não existe. A leitura certa não é resumir melhor; é separar as populações (segmentar; veja Média mente e Sazonalidade e séries temporais) e tratar cada morro como a história que ele é. O desvio padrão inflado sem explicação (Desvio padrão sem dor) é frequentemente o primeiro sintoma de bimodalidade escondida. Retrato 4: o “J” das notas de satisfação O retrato mais frequente nos painéis de satisfação: notas de satisfação não formam sino: amontoam-se no topo da escala (muitos 5, alguns 4), com um segundo grupinho menor no fundo (os 1 dos episódios ruins) e pouca coisa no meio. A literatura de marketing documenta isso há décadas: distribuições de satisfação são tipicamente assimétricas com concentração no extremo positivo (o levantamento clássico de Peterson e Wilson, 1992, já apontava o padrão e suas causas, do viés de quem escolhe responder e do desejo de ser gentil). Consequências para quem lê dashboards: A média fica cega no teto. Se quase todos marcam 4 ou 5, a média comprime tudo entre 4,2 e 4,6: parece estabilidade, mas o efeito teto está escondendo o movimento. Onde a ação acontece é nas pontas: acompanhe as proporções (% de notas máximas e % de notas baixas) em vez da média espremida. (O NPS, com seus promotores e detratores, é precisamente essa leitura institucionalizada; veja NPS sem mistério.) O meio vazio não é falta de opinião. Nota 3 em escala com formato J é frequentemente um “quase-detrator” educado. Trate a faixa média como zona de investigação, não como “neutros satisfeitos”. Pequenas quedas na média podem ser grandes notícias. Numa distribuição empilhada no teto, a média só cai quando gente migra para o fundo: uma queda de 0,2 pode significar que os casos ruins dobraram. Abra sempre a distribuição (Média mente) antes de julgar a magnitude. O hábito que resume o artigo Diante de qualquer métrica nova, peça o histograma antes de qualquer resumo. Trinta segundos de olhar respondem: é sino (média e desvio funcionam)? Cauda longa (mediana e p90)? Dois morros (segmente antes de tudo)? Empilhado no teto (proporções nas pontas)? Só então escolha a legenda. Resumo estatístico é como embalagem: precisa caber no formato do conteúdo, e é o conteúdo que manda. De volta ao Cambará No Cambará, o fechamento mensal ganhou um morador novo ao lado da média: o
Desvio padrão sem dor: o número que deveria acompanhar toda média
Duas lojas com média 4,2 podem ser um relógio suíço e uma montanha-russa. O desvio padrão é o que conta a diferença. Na Clínica Aurora Wagner, administrador da Clínica Aurora, rede de clínicas médicas, tinha uma vaga de coordenador de fisioterapia e dois finalistas: o fisioterapeuta mais antigo da casa e a recém-chegada que impressionava a todos. Decidido a não escolher no feeling, foi ao painel buscar o dado: a média das avaliações dos pacientes nos últimos seis meses. O veterano: 4,3. A novata: 4,3. — Empate, resumiu para a Dra. Beatriz, a sócia. Seis meses de dado para terminar no cara ou coroa. Beatriz pediu para ver as notas, não as médias. As da novata eram uma fileira constante de 4, com alguns 5 espalhados. As do veterano alternavam 5 e 3: dias de gala e dias de tropeço se revezando. — Mesma média, disse ela, devolvendo o tablet. Mas você diria que é a mesma promessa? O empate, de repente, não parecia mais empate. A pergunta que falta A média esconde os extremos. A pergunta natural é: existe um número que diga o quanto ela esconde? Existe, e é provavelmente o número mais importante que quase nunca aparece nos slides. Pense em dois entregadores de pizza. Os dois entregam, em média, em 30 minutos. Mas o entregador A entrega sempre entre 25 e 35; o B, às vezes em 10, às vezes em 55. Mesma média, negócios completamente diferentes: com A dá para prometer prazo; com B, cada pedido é uma loteria. Os dois têm o mesmo nível; o que muda é o espalhamento. E cliente, como regra geral, odeia loteria: a experiência imprevisível corrói confiança mesmo quando a média é boa (a dimensão "confiabilidade" da qualidade de serviço). O desvio padrão é o termômetro desse espalhamento: um número que resume o quão longe da média os valores costumam ficar. A intuição, sem fórmula Não é preciso decorar a conta (a planilha faz com DESVPAD / STDEV). É preciso entender o que o número diz: Leia o desvio padrão como "o erro típico da promessa da média": quando você diz "em média X" e alguém vive um caso concreto, o desvio padrão estima o tamanho usual da diferença entre a promessa e a vivência. E há uma régua de bolso famosa para dados razoavelmente "comportados", em forma de sino: a regra 68/95 — cerca de 68% dos valores caem a até 1 desvio padrão da média, e cerca de 95% a até 2 desvios. O entregador A (média 30, desvio 3): 95% das entregas entre 24 e 36 minutos. O B (média 30, desvio 15): 95% entre 0 e 60, informação que não informa nada. Três usos práticos imediatos 1. Compare a consistência, além do nível.Duas lojas com a mesma nota média não são gêmeas: a de menor desvio entrega experiência previsível; a de maior desvio tem clientes encantados e clientes furiosos se revezando (a "guerra de extremos", agora com número). Gestão madura persegue as duas coisas: subir a média e apertar o espalhamento. Aliás, muitas vezes a segunda vem primeiro: padronizar o processo (reduzir desvio) costuma ser mais barato que elevar a média inteira. 2. Julgue se uma variação é grande "para os padrões da casa"."A nota caiu 0,3" é muito ou pouco? Depende do vaivém natural da série, e o desvio padrão das variações mensais é exatamente a régua desse vaivém. Queda de 0,3 numa loja cujo mês a mês oscila tipicamente 0,4? Rotina. A mesma queda numa loja que oscila 0,1? Alarme legítimo. É a lógica da carta de controle no modo manual: medir a variação em "desvios da normalidade" em vez de valor absoluto. 3. Detecte o outlier com critério, não com olhômetro."Fora da curva" ganha definição operacional: um valor a 3+ desvios da média é raro o bastante para merecer investigação individual (erro de coleta? caso extraordinário real?). Regra da casa: outlier se investiga antes de se excluir; exclusão silenciosa de pontos incômodos é maquiagem. As pegadinhas do desvio padrão Ele também é sequestrável por outliers. Como a média, o desvio padrão infla com valores extremos: o bilionário no bar bagunça os dois. Para dados muito assimétricos (tempos, valores monetários), os percentis fazem um trabalho mais honesto — assunto para outra ocasião. Desvio grande nem sempre é problema; às vezes é composição. Uma loja com desvio alto nas notas pode não ser "inconstante": pode ter dois públicos vivendo duas experiências (almoço executivo apressado vs. jantar tranquilo). O desvio padrão detecta a mistura; a segmentação revela quem são as parcelas. É um número que abre uma pergunta em vez de fechá-la. Comparar desvios exige mesma escala e mesmo contexto. Desvio de 0,5 numa escala de 5 é enorme; numa escala de 0 a 10 é modesto. E tempos de espera de restaurante não se comparam com tempos de banco. Quando precisar comparar espalhamentos de grandezas diferentes, existe a versão normalizada (o coeficiente de variação: desvio ÷ média), mas na maior parte do dia a dia, a comparação honesta é a de sempre: a métrica contra a própria história. Como pedir esse número (roteiro de reunião) Não é preciso calcular nada para usar isso amanhã. Bastam três perguntas: De volta à Aurora Na Aurora, o desempate não precisou de cara ou coroa; precisou do desvio. A novata, média 4,3 com espalhamento pequeno, era uma promessa que a clínica cumpria todo dia. O veterano, a mesma média com desvio grande, era loteria de agenda. A coordenação, cargo de constância, foi dela. E o veterano não virou problema: virou diagnóstico. Os dias de 3 se concentravam nas agendas dobradas de segunda; o espalhamento apontou o ajuste certo, e o desvio dele caiu no trimestre seguinte. No quadro de gestão, Wagner escreveu a regra nova da casa: média não sobe ao mural sem o desvio do lado. O resumo de uma frase (teste Feynman) "A média é a promessa; o desvio padrão é o tamanho típico da quebra da promessa: nunca aceite uma sem perguntar pelo outro."
