No final de 2016, GIFE, Itaú Social e Fundação Roberto Marinho deram início ao Ciclo de Encontros de Avaliação 2016-2017. A sistematização da iniciativa deu origem a uma série de três publicações que trazem uma análise do fazer avaliativo em diferentes perspectivas.
Ao longo de quatro encontros, investidores, gestores, implementadores e avaliadores ligados ao campo do Investimento Social Privado (ISP) puderam refletir e debater acerca dos principais aprendizados, desafios e pontos de atenção que caracterizam três etapas fundamentais de qualquer processo avaliativo: o antes, o durante e o depois.
Considerada um dos pilares para o fortalecimento e a ampliação da legitimidade do ISP no Brasil, a avaliação tem sido utilizada por institutos, fundações e empresas como forma de assegurar que suas ações estejam cada vez mais alinhadas com a produção de bens públicos. Uma das agendas estratégicas do GIFE, a avaliação é uma realidade entre seus associados. De acordo com o último Censo GIFE, 99% dos respondentes se declaram aderentes a alguma modalidade de avaliação e/ou monitoramento.
Além de responder a necessidades diversas (mensuração do impacto, comunicação dos resultados, ampliação de parcerias, orientação para a tomada de decisão, aperfeiçoamento dos projetos, entre outras), a prática é tida como promotora de grande aprendizado organizacional.
O Ciclo de Encontros de Avaliação 2016-2017 concretizou um espaço de estudos e trocas em torno de perguntas fundamentais: por que fazer avaliação? Como se organizar para isso? Como fomentar a cultura de avaliação em uma organização? Quais os desenhos avaliativos possíveis? Como melhor utilizar seus resultados? Como melhor relacionar avaliação e estratégia organizacional? Como comunicar os achados?
Criar condições antes de avaliar
A primeira publicação da série (Avaliação para o investimento social privado: criar condições antes de avaliar | 1° Encontro: antes) retrata os debates do primeiro encontro do Ciclo, que destacou um conjunto de elementos que caracteriza o momento anterior à avaliação.
Um painel de práticas avaliativas contou com o aporte de especialistas a partir de pontos de vista diversos. A desmistificação de crenças e princípios que levam um processo avaliativo a se tornar promotor de aprendizagem foram algumas das reflexões promovidas durante o evento.
A construção permanente de uma cultura de avaliação nas instituições e no Terceiro Setor de maneira geral é uma das conclusões do debate, além da definição e clareza acerca da finalidade da avaliação, tendo em vista as necessidades avaliativas do projeto e de seus atores.
Também foi salientada a importância das perguntas avaliativas, que oferecerão um importante contorno para a avaliação, orientando todo o processo posterior de maneira a colher informações que sustentem respostas consistentes e sirvam à finalidade da avaliação previamente pactuada.
Por fim, o debate também destacou como fundamental o envolvimento dos diferentes atores ligados ao projeto, tanto como meio de fomento à cultura de avaliação, quanto para potencializar a própria avaliação ao alinhar compreensões, objetivos e expectativas em relação a ela e ao projeto.
Sobre esse último aspecto, Mônica Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho (FRM), ressalta o desafio e a importância de garantir o foco sobre o que é realmente relevante em meio a tantos desejos e intenções distintas:
Dentre os diferentes atores envolvidos em um projeto ou programa, existem múltiplas percepções e expectativas sobre o próprio projeto e, principalmente, sobre a avaliação. Nesse sentido, não apenas é fundamental ter consciência e clareza da diversidade de intenções em jogo num processo avaliativo, mas também manejar essas múltiplas intencionalidades de forma adequada.”
Definir o caminho metodológico mais adequado
A segunda publicação da série (“Avaliação para o investimento social privado: definir o caminho metodológico mais adequado | 2° e 3° Encontros: Durante”) consolida os debates do segundo e do terceiro encontro do Ciclo, que reuniram avaliadores, gestores e diferentes profissionais do Terceiro Setor para refletir e debater sobre os principais aprendizados e pontos de atenção que caracterizam o durante na avaliação de iniciativas socioambientais, com especial foco nas escolhas que envolvem o desenho metodológico da avaliação.
As vantagens e limitações da avaliação de impacto e dos métodos experimentais, a perspectiva dos métodos mistos orientada por rubricas e construção de valores e a importância da orientação de processos avaliativos e definição dos métodos à concepção de subsídios à tomada de decisões foram alguns dos eixos que nortearam os debates no segundo encontro.
Já o terceiro evento contemplou reflexões acerca dos aspectos de uma avaliação qualitativa e sensível à escuta de crianças e jovens, questões e desafios no desenho de avaliações de projetos com diferentes perfis, possibilidades e necessidades avaliativas, bem como os principais aspectos a ser considerados pelo gestor de investimento social privado ao longo de uma avaliação.
Para Mônica, um desafio que se coloca é chegar a um desenho metodológico que garanta a complexidade e a riqueza necessárias a um processo avaliativo sem simplificar ou dispersar a análise, chegando a uma abordagem que, dadas as condições, seja exequível e que de fato se aproxima da complexidade de uma ação social e de sua avaliação.
Comunicar e utilizar a avaliação de maneira efetiva
A terceira publicação da série (“Avaliação para o investimento social privado: comunicar e utilizar a avaliação de maneira efetiva | 4º Encontro: Depois”) é resultado do quarto e último evento do Ciclo de Encontros de Avaliação 2016-2017, que voltou-se ao depois na avaliação de iniciativas socioambientais, em especial, aos desafios da comunicação e do uso da avaliação. Assuntos que deram o tom das reflexões:
- Articulação entre avaliação e governança institucional.
- Papel da matriz avaliativa institucional como orientadora da gestão organizacional.
- Mitos e verdades da avaliação, com enfoque no uso e na comunicação.
- Formatos possíveis de comunicação de dados, informações e ideias.
- Desafios da comunicação de resultados voltada à incidência em políticas públicas.
Dentre as condições que podem favorecer o uso da avaliação, o debate expôs justamente aquelas relacionadas às condições ideais de início do processo avaliativo, reafirmando a importância da existência de uma cultura de avaliação, do envolvimento dos diferentes atores e da clareza sobre a finalidade da avaliação.
Outro apontamento relevante refere-se às atenções necessárias à comunicação dos resultados, concluindo que o planejamento da comunicação desde o início do processo otimiza o uso das informações produzidas. Dentre as características a serem consideradas para o desenho da comunicação de resultados estão a clareza sobre o objetivo da comunicação, o cuidado com a narrativa a ser construída para engajar o interlocutor e a definição dos públicos e dos possíveis formatos a serem empregados. A atenção a essas características contribui para o ajuste entre conteúdo, forma e público, garantindo a transmissão efetiva da informação e favorecendo a utilização dos resultados obtidos pela avaliação.
Angela Dannemann, superintendente do Itaú Social, afirma que a instituição sempre trabalhou com a avaliação quantitativa de impacto e que o momento atual traz para junto dessa abordagem outras metodologias.
“Essa avaliação quantitativa segue sendo feita, mas agora com um olhar mais voltado ao pensamento avaliativo, que enriquece uma metodologia que é econométrica com a utilização de métodos mistos desde o desenho do programa, o que significa trazer o avaliador para o próprio desenvolvimento da ação, da missão da instituição, e a gente fazer as avaliações acompanhadas de monitoramento que, dentro da gestão, é a coisa mais importante.”
Saiba mais
O tema da Avaliação também foi foco de duas mesas no X Congresso GIFE. Os debates estão disponíveis na íntegra no canal do Youtube do GIFE: “Avaliação – 10º Congresso GIFE” e “Avaliação: por um investimento social mais transformador”.
Notícias e outros conteúdos sobre o tema podem ser acessados na página dedicada à agenda estratégica no site do GIFE.
Outras publicações sobre o assunto podem ser acessadas aqui.
