Compartilhar experiências e discutir sobre possibilidades para superar barreiras para a implementação de avaliações foi o tema do 3º encontro do Grupo de Avaliação do GIFE, realizado no dia 17 de outubro, na sede do Instituto Votorantim, em São Paulo.

José Marcelo Zacchi, secretário geral do GIFE, deu as boas vindas aos participantes afirmando que, se ao mesmo tempo busca-se mais práticas de investimento social privado (ISP) e filantropia, é necessário que existam e sejam compartilhadas boas práticas de alocação de recursos. “Ao abordar avaliação, um tema permanente e contínuo, esperamos ir subindo a barra das práticas desse setor. É necessário aumentar nossa capacidade de trabalho em torno disso e afirmar o aprofundamento da prática avaliativa como parte integrante de nossas ações. Cada aprendizado é uma parte do mosaico da construção coletiva sobre o tema.”

Diferentes atores compartilharam suas interpretações sobre avaliação. Representando a coordenação do grupo – composta por Fundação Roberto Marinho, Itaú Social, Instituto C&A e Fundação Maria Cecilia Souto Vidigal (FMCSV) -, Leonardo Hocoya, gerente de escritório de projetos e avaliação da FMCSV, afirma que a diversidade de visões acerca de modelos avaliativos pode ajudar na construção de parâmetros. “A questão que nos une é como devemos promover a avaliação dentro das nossas organizações como um valor que deve ser compartilhado por todos e permear todas as áreas.” 

Para Ana Lima, da Conhecimento Social, a prática avaliativa orientada pode ajudar as organizações a compreender melhor o cenário onde atuam para que possam tomar melhores decisões.

Avaliação consolidada: Fundação Amazonas Sustentável

Michelle Costa, gerente de gestão e transparência da Fundação Amazonas Sustentável (FAS), compartilhou com o grupo como a instituição avalia as ações que desenvolve em 581 comunidades ribeirinhas da Amazônia profunda para cumprir com sua missão de contribuir para o desenvolvimento sustentável e melhoria da qualidade de vida da população local.  

Com um trabalho inteiramente pautado na participação de organizações e comunidades, a FAS conta com 213 parceiros. As associações comunitárias, por exemplo, são co-responsáveis pelos resultados e impactos das ações, que dividem-se em oito eixos temáticos ligados aos Objetivos de Desenvolvimento Sustentável (ODS), como saúde, educação, infraestrutura comunitária e conservação ambiental. Para avaliá-las, a FAS desenvolveu um sistema de monitoramento e avaliação (M&A) composto pelos pilares engajamento de parceiros e público, diagnóstico participativo, governança inclusiva, planejamento participativo, comunicação e relacionamento, sistematização do conhecimento, acompanhamento e avaliação e formação continuada. 

É nesse arranjo que inserem-se mecanismos como auditorias externas – 23 atualmente – e pesquisas de opinião com o público beneficiário. Em uma delas, 75% dos entrevistados afirmaram que seus saberes e opiniões foram considerados durante as reuniões e capacitações promovidas pela FAS, o que mostra o relacionamento próximo desenvolvido com as comunidades locais. Foi a partir de processos de M&A que a FAS passou a entender melhor os efeitos de sua atuação, como a diminuição em 76% do desmatamento nas áreas onde atua e evolução de 202% da renda familiar média mensal. 

Ter um processo de M&A já consolidado não impede, entretanto, que a Fundação enfrente desafios como alto custo de atuar na floresta profunda, necessidade de adaptar métricas para a realidade local, treinar equipes continuamente, dificuldade de monitorar e avaliar diversos projetos em múltiplas temáticas, avaliar necessidades de melhoria ou redirecionamento de ações, entre outras.

Primeiros passos

Com mais de 200 parcerias multissetoriais, o Instituto Coca-Cola Brasil atua em mais de 500 comunidades, impactando cerca de 330 mil pessoas. Nas duas frentes em que atua – juventudes e água -, a organização conta com três programas: Coletivo Jovem; Kolabora; e Água + Acesso, uma aliança de diferentes organizações dedicadas a ampliar o acesso à água potável de forma sustentável por comunidades rurais de todo o Brasil. 

Talia Oquillas, coordenadora de monitoramento e avaliação do Instituto Coca-Cola Brasil, explicou que ter uma multiplicidade de perfis de organizações atuando juntas é positivo, considerando a expertise compartilhada. Entretanto, em comum à maioria dos processos avaliativos, a Aliança enfrenta desafios para envolver todos os atores no processo, além das questões de tempo e orçamento. 

Apesar de ser uma iniciativa recente, a aplicação da avaliação deve-se ao fato de que a Aliança já surgiu com um olhar direcionado a essa prática. “Logo na concepção da Aliança foi encomendado um estudo de contextualização sobre qual problema social estávamos querendo tratar. Além disso, reunimos outras informações como o fato de que são necessários 508 bilhões de reais para universalizar o saneamento no Brasil até 2033 e que 50% dos projetos de Água e Saneamento na América Latina fracassam após dois a cinco anos de sua implementação. Isso nos levou a focar em sustentabilidade e parcerias, pois se não atuarmos coletivamente, não vamos atacar o problema de forma completa.”  

Duas das três frentes de atuação – infraestrutura para acesso e tratamento, modelos autossustentáveis de gestão comunitária da água e integração e fortalecimento do ecossistema – são avaliadas de acordo com um termo de referência que tem como objetivo avaliar resultados referentes ao eixo de ampliação do acesso à água segura com base no depoimento dos beneficiários e desenvolver um instrumental de autodiagnóstico para avaliação do eixo de gestão comunitária da água, com preenchimento, análise e verificação de amostras.  

Fases do processo avaliativo

Com ampla experiência no setor de avaliação, Gabriela Pluciennik dividiu aprendizados e desafios sobre o antes, durante e depois de um processo avaliativo. Em primeiro lugar, a avaliadora reforçou que é importante entender avaliação como um processo de aprendizagem, que contribuirá para a melhoria dos projetos de organizações no presente e no futuro.  

Segundo a especialista, a decisão de não realizar um processo avaliativo, muitas vezes, envolve efeitos externos como custos e falta de análise  dos benefícios. Além disso, vieses pessoais e modelos mentais também entram no pacote. “Organizações que optam por fazer avaliação estão mostrando que querem ser mais reflexivas e analíticas sobre o que estão fazendo para tentar reduzir vieses. Uma recomendação é reforçar a importância da avaliação logo nas primeiras conversas com uma organização a ser financiada, por exemplo. Se o financiado apoiar o processo de avaliação, os resultados serão muito melhores e mais confiáveis”, refletiu.  

Gabriela observa que usar os princípios básicos da avaliação para começar o processo pode ser um bom caminho. É necessário considerar a utilidade de uma avaliação, levando em conta a forma como o projeto acontece que, muitas vezes, pode ser diferente de como está descrita no papel; a viabilidade do processo, questionando o que é possível fazer com o tempo, os recursos e o contexto atual; a propriedade, com questionamentos éticos; o grau de precisão necessário; e a quem deverá ser realizada a prestação de contas (accountability). 

Independente do método ou combinação das diversas opções disponíveis, Gabriela elencou algumas dicas aos participantes. “A cultura de avaliação não começa do dia para a noite. 

A sua cultura ou da sua organização não é a igual à cultura do outro. É necessário formar e estruturar a equipe e o conselho, balancear a realidade e as expectativas em torno da avaliação, ter flexibilidade para abraçar o contexto como ele se apresenta; integrar os principais stakeholders na medida certa e demandar relatórios que efetivamente respondam às perguntas avaliativas.”

Próximos passos 

Camila Cirillo, coordenadora executiva do grupo, usou o momento final da reunião para reforçar que a ideia dos próximos meses é passar a mensagem de que mesmo com todas as dificuldades, é possível desenvolver avaliação. “As barreira de recurso, tempo e tamanho de equipe não devem ser vistas como um impedimento porque todo mundo passa por isso. Os avaliadores sabem que não existe instituição que não tenha essas barreiras e mesmo com elas conseguimos avaliar.” 

Entre os próximos passos do grupo está a participação de alguns membros na conferência anual da American Evaluation Association (AEA) e a realização de um encontro em dezembro para repercutir os aprendizados. Com o lançamento da nova edição do Censo GIFE previsto para o final de novembro, a ideia é discutir as necessidades das organizações com base em novos dados. “Em 2020, teremos site específico sobre avaliação com conteúdos e fóruns, além de publicação de notas técnicas e parâmetros, tudo isso em uma tentativa de abordar diferentes perfis [de instituições] em diferentes âmbitos, para todos poderem avançar na avaliação, independente do estágio em que se encontram”, compartilhou Ana Lima.