Comunicar e avaliar iniciativas que possuem a finalidade de gerar transformações socioambientais são grandes desafios tanto para o campo do Investimento Social Privado (ISP), quanto para os demais setores da sociedade. No entanto, o aprimoramento dessas práticas potencializa sobremaneira o impacto das ações.

Se por um lado é consenso o valor e a importância de comunicar bem essas iniciativas, por outro é muito mais difícil perceber o valor da avaliação. O que significa que além da capacitação e do aprimoramento contínuo, é papel de todos os atores que compõem o ecossistema da avaliação conquistar corações e mentes entre seus pares.

A reflexão foi partilhada por Ana Lima, consultora da Conhecimento Social, durante encontro da delegação brasileira que participou da conferência “Evaluation 2018 – Speaking Truth to Power”, promovida pela Associação Americana de Avaliação (AEA) em Cleveland (EUA), no início de novembro. Composto por representantes de empresas, institutos e fundações associados ao GIFE e outros atores do investimento social privado, o grupo se reuniu na sexta-feira (23/11), na sede do Instituto Ayrton Senna, em São Paulo, para trocar aprendizados adquiridos no evento e consolidar a agenda do próximo período.

Segundo a consultora, a mobilização da delegação brasileira para o evento internacional se configurou como estratégia para atrair mais pessoas do campo em torno da agenda.

Os achados da Evaluation 2018

A conferência anual da Associação Americana de Avaliação reúne, há mais de 30 anos, a comunidade de avaliação ao redor do mundo para debater assuntos pertinentes ao tema em diferentes setores da disciplina e prática internacional de avaliação.

Sob o tema “Speaking Truth to Power” (“Falando a verdade ao poder”, em tradução livre), a 32ª edição reuniu cerca de três mil avaliadores, acadêmicos, estudantes e usuários da ciência e prática da avaliação de todo o mundo com a finalidade de somar esforços para melhorar as práticas e aumentar o uso da avaliação para a tomada de decisões em áreas como ciências, humanidades, educação e desenvolvimento internacional.

A “Evaluation 2018” ofereceu aos participantes uma extensa programação com um sem número de atividades ocorrendo de forma simultânea. Composta por uma grande variedade de formatos e abordagens de aprendizado – desde workshops pré-evento e sessões plenárias até mesas redondas, painéis, palestras e oficinas -, a conferência propiciou a um público tão diverso quanto sua programação em termos de setor, área e estágio de conhecimento uma semana de muitas trocas e conexões.

Ana chama atenção para o volume de avaliações praticadas no país, localmente e em várias partes do mundo acompanhando o investimento filantrópico americano na África, Ásia e, em menor dimensão, na América Latina.

A consultora ressalta ainda a diversidade da programação. “É um congresso técnico, mas que ao mesmo tempo discute o uso da avaliação para a tomada de decisão, as questões éticas vinculadas à avaliação, as perspectivas metodológicas e filosóficas. O tema dessa conferência inspirou muito a discussão sobre como se dão as relações de poder numa avaliação entre quem financia e opera o programa, o próprio avaliador e o grupo de beneficiários. Isso tudo provocou muita reflexão e nos entusiasmou a organizar esse encontro para compartilhar essas ideias e tendências.”

O papel do avaliador como agente de transformação

Graziela Santiago, coordenadora de conhecimento do GIFE, partilhou com o grupo aprendizados e conhecimentos oportunizados pela conferência da AEA. Entre temas como o papel do advocacy e a construção de capacidades para práticas avaliativas coletivas – em rede ou junto a movimentos sociais, por exemplo -, a coordenadora destacou o papel do avaliador como agente de transformação, ideia muito conectada com o próprio tema da conferência.

“O evento trouxe a reflexão que para mim foi muito forte sobre o papel político da avaliação. Não é algo novo no Brasil, nem no contexto da avaliação, mas é uma reflexão importante que nos convida a repensar nossa prática”, afirmou, ressaltando a ideia de uso das evidências, o poder de dar luz a certas visões da realidade, como intervenção que pode gerar transformação.

Impacto é transformação social

Para Esmeralda Macana, especialista em monitoramento e avaliação de projetos sociais do Itaú Social, um obstáculo a ser superado é que muitas das avaliações de impacto tradicionais não incluem o público das intervenções e os diferentes contextos. “Tradicionalmente, os processos avaliativos têm focado o impacto. Pouco se questiona quais são os mecanismos e processos que levaram a esse ou aquele resultado, o que tem gerado também uma confusão em relação ao conceito de impacto, entendido ainda como uma questão de método, quando na verdade impacto são as transformações sociais que queremos alcançar no longo prazo.”

Nesse sentido, a especialista chama atenção para o desafio da polarização entre as duas perspectivas, que torna abordagens tradicionais e métodos quantitativos inimigos de métodos qualitativos como teorias da mudança, por exemplo. Para ela, é necessário ampliar a visão da avaliação incorporando ambas as abordagens intrinsecamente.

Esmeralda oferece alguns exemplos de ferramentas que podem ser utilizadas para incorporar as duas perspectivas em processos avaliativos. Pensando em olhar para o contexto, a especialista sugere o uso do estudo de viabilidade. “Essa é uma abordagem que ajuda a entender fatores que podem influenciar os programas e/ou como estes podem criar condições para o seu próprio sucesso”, observa.

Já para observar os mecanismos que levam a determinados resultados, Esmeralda sugere o monitoramento estratégico e o estudo de implementação.

Para João Martinho, especialista de avaliações do Instituto C&A, o papel da avaliação é educar para o impacto. “A transformação social é naturalmente complexa. É insuficiente olhar só o impacto porque se a intervenção não dá certo, você não tem para onde olhar. Temos a tendência de tentar verificar o que achamos que aconteceu e, muitas vezes, fechamos os olhos para o que não esperávamos. Precisamos entender que a avaliação de impacto é o suprassumo, ela é a última coisa que você faz, só depois de entender o seu projeto. Pouca gente entende a fundo os projetos que financia.”

Avaliação é mais que ciência

Mônica Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho, reflete sobre afirmação do especialista norte americano Michael Patton, referência mundial na abordagem da “Avaliação Focada no Uso”, que diz que “governo sério investe em evidências”.

“A gente teve um episódio recente no Brasil questionando a metodologia do IBGE. A cultura de lidar com produção de evidências é muito recente na nossa democracia. A gente vive um momento de questionamento das evidências. Mas, a busca pela ciência na civilização é uma utopia de que a gente terá uma sociedade mais justa, mais igualitária, que busque valores.”

Para a gerente, o primeiro pressuposto ao refletir sobre a busca pela verdade é considerar ambientes complexos. “As metodologias também terão que ser complexas e sempre haverá imprecisões.”

Parafraseando Tessie Catsambas, presidente da AEA, Mônica afirma que “a avaliação não é uma ciência, mas uma transdisciplina. Avaliação é filosofia, arte, ciência e acima de tudo serviço. Essa dimensão do serviço tem a ver com nosso papel de pessoas a serviço da transformação social. Se ela é filosofia, precisa ter um pressuposto ético, inclusive de humildade em relação a seus limites. E é uma arte porque ela é muito complexa, não é uma ciência exata. Acho que essa, inclusive, é a beleza da verdade.”

Próximos passos

O GIFE e a delegação brasileira que participou da conferência da AEA deste ano já têm planos para o futuro. A próxima conferência será realizada de 11 a 16 de novembro de 2019, em Minneapolis, Minnesota. Ana Lima explica que o grupo pretende submeter trabalhos e propostas de mesas e paineis para a próxima edição a fim de compartilhar o que vem sendo desenvolvido no Brasil dentro da agenda.

Estamos propondo o desafio de não irmos só como plateia, mas também como apresentadores. Também estamos pegando como horizonte mais longe o Congresso GIFE 2020. A ideia é, a pretexto do Congresso, realizar reuniões como esta com o objetivo de fortalecer este grupo e ampliar a mobilização do campo para a agenda da avaliação.

Para a consultora, este primeiro encontro foi uma feliz e boa mistura entre a convocação e a colaboração. “O que a gente espera é que esse grupo seja a multiplicação de momentos como este. Ninguém é dono. O GIFE é o hostess, mas todo mundo deve se ver como protagonista.”