Você não dirigiria o seu carro sem o painel de controle, não é? Do mesmo modo você não dirigiria o seu programa social sem entender se as suas ações estão melhorando a vida do seu público alvo.
Simples assim, essa é a razão pela qual cada dia mais se fala de Avaliação de Impacto. Não é só medir quantos livros foram distribuídos ou horas de aula ministradas em uma iniciativa de apoio, mas medir quanto recuou o analfabetismo na região, e se recuou devido ao programa ou por outras causas.
Um programa de avaliação de impacto aumenta fortemente a transparência dos projetos sociais, mostrando se os recursos de fato ajudam os destinatários ou se servem apenas para a auto conservação da organização pública ou privada que os gerencia.
Para a realidade do Terceiro Setor isso está se tornando fundamental mesmo para a arrecadação dos fundos e a sustentabilidade do projeto. Um estudo recente sobre filantropia na América Latina feito pelo Hauser Institute da Harvard Kennedy School mostra claramente que, com o foco passando da caridade para a mudança, muitos recursos são disponibilizados só com a presença de planos que possam evidenciar quantitativamente os resultados a serem alcançados.
Implementar esses planos, porém, não é nem fácil nem barato.
A Associação Aventura de Construir é uma realidade pequena, mas obcecada em realizar uma melhoria real na vida dos microempreendedores de baixa renda das periferias de São Paulo, agindo com o máximo de profissionalismo, realismo e parcimônia.
Começamos o nosso trabalho em 2012 com um questionário envolvendo cerca de 200 indivíduos para entender as principais exigências não atendidas, desde o início registramos todos os contatos com o público alvo para poder chegar a indicadores gerenciais (“Quantas pessoas participaram das nossas palestras? Quantos participaram uma, duas, três vezes?” “Quantos receberam uma consultoria individual?”), e – depois da primeira fase de startup – começamos seis meses atrás o nosso programa de avaliação de impacto, definido com a ajuda da Kellogg Institute da Notre Dame University, da ALTIS da Universidade Católica de Milão, e da Comunitas de São Paulo.
Para mais informações sobre o nosso programa de avaliação de impacto, leia aqui.
Foi um caminho desafiante, e gostaríamos de oferecer algumas poucas dicas para facilitar quem está considerando começar agora:
- Pense bem se você quer fazer: nós gastamos 9 meses/homem para definir e fazer a pesquisa de linha de base, mais duas semanas homem cada 6 meses para reaplicar o questionário a 70 sujeitos empatados do nosso trabalho e a 40 empreendedores do grupo de controle.
- Se quer fazer, contrate um estatístico: mais cedo ou mas tarde você vai pedir sua ajuda, e pode ser tarde demais. O estatístico é fundamental para definir o que e como medir, não só na análise dos dados coletados.
- Contratando ou não um estatístico, leia “Avaliação de Impacto na Prática“. É gratuito, é em português, é feito pelo Banco Mundial, é simples e explica os fundamentos que até gerentes podem entender.
- Na medida do possível, defina os seus processos antes: como lidar com valores extremos (outliers)? Como substituir sujeitos que saem dos grupos de pessoas de impacto e de controle? Se você reage ao longo do caminho, a tentação de adaptar as regras aos resultados desejados é forte, e avaliadores externos sempre vão suspeitá-lo.
- Cuidado com os fatores de confusão: se as receitas melhoram pode ser devido ao trabalho de vocês ou pela melhoria geral da economia. Sem um grupo de controle bem escolhido nem vale a pena fazer avaliação de impacto.
- Não poupe recursos na coleta de dados inicial (a linha de base): sem conhecer o ponto de partida é impossível medir progresso. Nas perguntas e no número de entrevistados é melhor errar por excesso: você sempre vai descobrir coisas inesperadas.
- Na avaliação periódica seja gentil com os seus entrevistados: nessa fase limite ao máximo as perguntas. Roubar mais que 5 minutos para responder é má educação, e aumenta o número de quem sai da pesquisa (e isso vai afetar a qualidade dos seus resultados).
- Faça perguntas simples e com respostas objetivas: não “Você gosta ler?” mas “Quantos livros você leu no último mês?”
- Considere um período de warm-up: no começo haverá muitos problemas inesperados (na coleta, na elaboração, na interpretação) que devem ser acertados antes de produzir resultados comparáveis. Nós realizamos 3 levantamentos testes com intervalo de três meses antes de considerar o programa consolidado.
- Na análise, não espere dos números mais do que eles podem oferecer:
- “Não tudo o que é importante pode ser medido, e nem tudo o que pode ser medido é importante”: o objetivo da medição de impacto é relatar causa e efeito. Os números não podem fazer isso: podem provar ou desaprovar uma hipótese, nunca criar uma do zero, então não se esqueça de ficar atento ao seu público e coletar informações qualitativas. Eles ajudarão o seu “insight”.
- a primeira coisa que se aprende no ensino técnico é que cada medida tem erros. Vale para medir pedras, imagina para respostas de humanos!
- cuidado com as médias: antes de tirar conclusões dê uma boa olhada em todos os pontos. Um valor anormal (ou um erro de transcrição) ou as médias podem contar uma história completamente diferente da realidade.
Última nota: Goodhart, um economista inglês, virou famoso pela sua lei:
Quando uma medida vira um objetivo, cessa de ser uma boa medida.
Com toda a pressão sobre os resultados, se corre o risco de agir – conscientemente ou não – em prol da melhoria dos indicadores, e não para o bem estar do público alvo. Ética é também lembrar que os números descrevem a realidade, mas nunca podem tomar o seu lugar.
A Associação Aventura de Construir é uma OSCIP que dá suporte a microempreendedores de baixa renda das periferias de São Paulo. Aqui colocamos o que descobrimos nesse trabalho. Para saber quem somos e o que fazemos, visite nosso site ou a nossa página do Facebook.
