De 29/10 a 03/11, a cidade de Cleveland, nos Estados Unidos (EUA) sediou a “Evaluation 2018”, conferência anual da Associação Americana de Avaliação (AEA, na sigla em inglês). Há mais de 30 anos, o evento reúne a comunidade de avaliação ao redor do mundo para debater assuntos pertinentes ao tema em diferentes setores da disciplina e prática internacional de avaliação.

Sob o tema “Speaking Truth to Power” (“Falando a verdade ao poder”, em tradução livre), a 32ª edição da conferência reuniu cerca de três mil avaliadores, acadêmicos, estudantes e usuários da ciência e prática da avaliação de todo o mundo com a finalidade de somar esforços para melhorar as práticas e aumentar o uso da avaliação para a tomada de decisões em áreas como ciências, humanidades, educação e desenvolvimento internacional.

Participando pela primeira vez, o GIFE mobilizou uma delegação de quinze representantes de fundações e institutos brasileiros para a ocasião, entre os quais Instituto Arapyaú, Fundação Lemann, Fundação Avina, Instituto C&A, Itaú Social, Fundação Roberto Marinho e Fundação Maria Cecília Souto Vidigal, participou ainda nessa delegação a Plano CDE, empresa de consultoria.

“O GIFE vem trabalhando na agenda de avaliação há alguns anos, realizando e apoiando eventos e debates sobre o tema no intuito de promover essa discussão entre associados e organizações da sociedade civil como um todo a partir do entendimento da importância da avaliação não somente como ferramenta de comunicação e prestação de contas, mas como algo que pode gerar retornos positivos para nossa prática, como potencial gerador de transformação social”, afirma Graziela Santiago, coordenadora de conhecimento do GIFE, para quem a participação no evento junto à delegação brasileira é reflexo do amadurecimento da agenda no campo do investimento social privado, além do reconhecimento de sua importância pela base associativa do GIFE.

Para Ana Luiza  Farage Silva e Tamires Rodrigues Vilela, da Fundação Lemann, fazer parte da delegação foi uma excelente oportunidade para aproximar mais dos parceiros do terceiro setor no Brasil, entendendo desafios e oportunidades que temos em monitoramento e avaliação. “Pudemos nos conectar com organizações e pesquisadores que têm avançado nesse sentido e com os quais podemos colaborar”, afirmam.

Programação

A “Evaluation 2018” ofereceu aos participantes uma extensa programação com um sem número de atividades ocorrendo de forma simultânea. Composta por uma grande variedade de formatos e abordagens de aprendizado – desde workshops pré-evento e sessões plenárias até mesas redondas, painéis, palestras e oficinas -, a conferência propiciou a um público tão diverso quanto sua programação em termos de setor, área e estágio de conhecimento uma semana de muitas trocas e conexões.

Thais Ferraz do Instituto Arapuaú comenta sobre o tamanho e impacto do evento “Me impressionou que um evento sobre avaliação de impacto reúna aproximadamente 3000 pessoas. Pudemos ver alguns conceitos, casos e ferramentas bastante interessantes. Acho que as fundações brasileiras têm a oportunidade de somar esforços e trabalhar de forma alinhada para fortalecer o campo de avaliação e gestão de projetos sociais”.

Sobre isso Rafael Camelo, da Plano CDE, comenta que deu para notar que muitas organizações passam pelos mesmo desafios que os nossos. “Foi possível aprender bastante, mas também deu para perceber que podemos ensinar muito. É definitivamente um evento em que o mais rico é a troca e não a absorção passiva de informação”.

Os workshops foram oferecidos aos participantes nos três primeiros dias e no último dia da agenda com a finalidade de promover um espaço de desenvolvimento profissional a avaliadores em todas as fases da carreira explorando em maior profundidade um conjunto de habilidades e áreas do conhecimento pertinentes aos interesses da comunidade. Comunicação, abordagens e ferramentas, métodos mistos, consultoria, pensamento avaliativo, foco na utilização, metodologias colaborativas e gestão de conflitos foram alguns dos temas trabalhados nesse espaço.

Para Leonardo Hocoya, que trabalha com projetos e avaliações na Fundação Maria Cecilia Souto Vidigal, ter participado dos workshops prévios foi fundamental para conseguir aprofundar alguns temas importantes. “Participei de dois deles: um sobre pensamento avaliativo e outro sobre rubricas, ambos desafios comuns a todas as organizações. É importante que a gente consiga disseminar esse pensamento avaliativo para que não fique centralizado em uma pessoa só. Acho que a rede consegue avançar mais quando há um grupo de pessoas pensando avaliativamente em todos os momentos. No caso das rubricas, elas podem ajudar muito a organizar as diferentes expectativas e a colocar todos na mesma página, ainda mais quando a gente lida com muitos stakeholders e com a própria sociedade”, observa.

Para o avaliador, o evento foi uma oportunidade de ter contato com diferentes ferramentas, visões e entendimentos para conseguir olhar para a realidade de sua instituição e definir o que melhor funciona. “Não tem uma receita de bolo. A gente tem que conseguir olhar para os nossos diversos stalkeholders e para nossa cultura organizacional e, claro, evoluir e se adaptar a uma nova visão mais focada em resultado e impacto, mas sem deixar a parte qualitativa de fora.”

“Falando a verdade ao poder”

O tema do evento foi abordado por Leslie Goodyear, presidente da AEA, na sessão plenária intitulada “Falando a verdade ao poder: o que isso significa para avaliadores e para a avaliação?”, que abriu os trabalhos da conferência.

É nossa responsabilidade como avaliadores falar a verdade ao poder? Ou nós apenas tomamos contratos e entregamos dados? Nós temos a responsabilidade moral de tornar o mundo um lugar melhor? Qual é a melhor maneira de fornecer feedback aos nossos clientes e como podemos ajudá-los a tomar medidas responsáveis? Essas e outras perguntas orientaram o debate.

Leslie explica que a frase foi usada pela primeira vez como título para um panfleto do Comitê de Serviços aos Amigos Americanos de 1950 sobre a não-violência. “Eu achei que era uma noção interessante e relevante de que falar o que realmente acreditamos para as pessoas que têm a capacidade de mudar políticas pode mudar o mundo”, afirma.

“Se estou avaliando seu programa e vejo que ele não está funcionando da maneira como você pretendia, preciso deixar claro para você o que vejo acontecer e como isso está afetando seus participantes. Pode ser desconfortável, mas esse é o nosso trabalho como avaliadores”, defende a especialista.

Para a presidente da Associação, ser um bom avaliador é muito mais do que coletar e apresentar dados originais. Trata-se de construir conexões humanas. “Você pode ter o design e os dados de estudo mais perfeitos, mas, se não tiver conseguido desenvolver um bom relacionamento com as pessoas que estão executando o programa que está avaliando, elas podem nem ouvir o que você tem a dizer”, observa.

João Martinho, do Instituto C&A, corrobora com essa avaliação. Para ele, na era da desinformação, a verdade é preciosa, ainda que nem sempre apreciada. “Por isso, é fundamental garantir o envolvimento dos diversos stakeholders em conversas honestas e regulares, além de ser transparente sobre o que não funciona e por que”, defende.

O papel do avaliador

Temas como educação, inovação e equidade e participação permearam as demais sessões plenárias que ocorreram ao longo da conferência, assim como uma infinidade de outros assuntos apareceram ao longo da programação.

Graziela menciona alguns que considera importantes tais como a construção de capacidades para práticas avaliativas coletivas, em rede, junto a movimentos sociais, por exemplo, e avaliação de ações de advocacy.

No entanto, o debate que mais chamou a atenção da coordenadora foi sobre o papel do avaliador como agente de transformação. “O evento trouxe a reflexão que para mim foi muito forte sobre o lugar mais político do avaliador, de realmente instigar a mudança, que é diferente de ser isento. O próprio processo de escolha do que avaliar e a leitura de mundo que se traz à tona têm uma importância, uma ação no mundo e provoca transformação social. Acho que não é algo novo, que a gente já não discuta no campo, mas é uma provocação poderosa que nos convida a repensar nossa prática”, ressalta.

Para Esmeralda Macana, especialista em monitoramento e avaliação de projetos sociais do Itaú Social, o evento foi uma oportunidade de consolidar a concepção da área da avaliação como uma ciência e não como um método. “Dessa forma, a avaliação não se restringe a entender somente quais são os impactos dos programas e projetos, mas também outros aspectos estruturais dentro do desenho, implementação, adequação de intervenções, comunicação e uso constante do monitoramento e das avaliações. Cada um desses aspectos se desmembra em um universo de estudo. Eu não tinha essa dimensão da grandeza da ciência da avaliação e a AEA me permitiu enxergá-la e explorá-la”, afirma.

Para João Martinho, do Instituto C&A, essa conferência marca o reposicionamento estratégico da avaliação em resposta às mudanças drásticas no contexto. “Falou-se muito no papel da avaliação e do avaliador e menos em métodos e técnicas. Nota-se o surgimento de uma nova onda na avaliação, mais preocupada com o “porque e para que avaliar?” do que com as discussões tradicionais de “o quê e como avaliar?”. E essa mudança não é trivial nem acidental: é o fruto do reconhecimento da urgência de promover avaliações que sejam efetivamente utilizadas e não engavetadas.”

Marcelo Mosaner, da Fundação Avina, também destaca como uma contribuição enriquecedora a construção de um mindset do avaliar, do conjunto de competências que ele deve ter, trazendo uma ênfase bastante prática, pragmática.

Em comparação com o ambiente brasileiro, dois pontos chamam a atenção de Ana Lima, consultora da Conhecimento Social. O primeiro diz respeito ao volume de avaliações praticadas no país, o que envolve um número maior de profissionais e especialistas que avaliam projetos em várias partes do mundo,acompanhando o investimento filantrópico americano na África, Ásia e América Latina.

“Outra coisa que sempre chama atenção quando a gente vem para cá é que eles conseguem falar com bastante transparência e naturalidade sobre as coisas que não dão certo. No Brasil, isso é uma coisa com a qual a gente precisa se acostumar, olhar para o erro, para o equívoco, para a frustração, que frequentemente acontece nessa nossa área de atuação em pontos específicos nos processos de avaliação, como um momento de aprendizagem e crescimento e não com a aflição que a gente geralmente fica de tentar fazer as coisas darem certo de qualquer jeito e deixando de aprender com as próprias experiências, fraquezas, fragilidades, desafios e complexidades do trabalho que agente faz.”

Para Mônica Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho, é perceptível a grande preocupação com as implicações e responsabilidades dos processos avaliativos em todas as partes do mundo. “Muitos foram os relatos de práticas avaliativas sistêmicas, articulando dimensões como transparência, accountability e o compromisso com o aprendizado para o aprimoramento efetivo dos projetos sociais. Tive a oportunidade de apresentar dois trabalhos desenvolvidos pela equipe de pesquisa e avaliação da FRM: compartilhamos nossas estratégias para promover o envolvimento de todos os stakeholders no planejamento, execução e usos da avaliação, como também um recente estudo de meta e avaliação da própria área de Pesquisa e Avaliação da FRM. Debatendo com avaliadores, ONGs internacionais e o Departamento para o Desenvolvimento Internacional do governo da Inglaterra, chegamos à conclusão de que temos desafios muito parecidos, quando é preciso refletir sobre as evidências trazidas pelas avaliações:  garantir o tempo e engajamento de todos e, em especial, cuidar para que haja um clima de confiança mútua e abertura para aprender com erros e problemas.”

Futuro

A agenda futura da AEA já prevê edições até 2021. A próxima Conferência Anual acontecerá de 11 a 16 de novembro de 2019, em Minneapolis, Minnesota.

O GIFE e a delegação brasileira que participou do evento deste ano também já têm planos para o futuro. No dia 23 de novembro haverá um encontro com associados  interessadas no tema para partilhar os aprendizados do evento.

Graziela conta que a ideia agora é ir aprofundando e desenvolvendo outras formas de conectar cada vez mais os associados e outras instituições do campo com o tema e apoiar seu desenvolvimento nesse sentido.

“Conhecer novas metodologias, ter contato com o que está sendo discutido em outros lugares e por outros grupos e ter discussões mais estratégicas abre essa possibilidade de a gente continuar com os debates que temos feito sobre avaliação no Brasil com mais qualidade. A gente já está pensando na participação no próximo ano, inclusive apresentando mais propostas de mesas e trabalhos sobre o que a gente vem desenvolvendo no Brasil porque nós também temos o que mostrar e compartilhar com as organizações daqui.”

Ana Lima avalia que a ida ao evento foi bastante relevante para o grupo dentro da estratégia que o GIFE e as organizações que apoiam a agenda têm em mente que é de fortalecer o papel estratégico da avaliação. “É um congresso técnico, mas que ao mesmo tempo discute o uso da avaliação para a tomada de decisão, as questões éticas vinculadas à avaliação, inclusive o tema dessa conferência inspirou muito uma discussão sobre como se dão as relações de poder numa avaliação entre quem financia e opera o programa, o próprio avaliador e o grupo de beneficiários. Isso tudo provoca muita reflexão e nos entusiasma a nos organizar para compartilhar isso com quem vier conhecer essas tendências e ideias na reunião que vamos promover na volta ao Brasil.”

Leonardo ressalta que a transformação vai vir do coletivo. “A gente não vai gerar impacto sozinho. Não importa quem esteja mais ou menos envolvido, o importante é a mudança em si, é algo maior do que nós e, por isso, temos que nos fortalecer como rede para que ela siga viva e sustentável independente de quem esteja lá.”