Incentivar a reflexão sobre como cada pessoa envolvida com avaliação desempenha o seu trabalho e transparece seus propósitos foi um dos principais objetivos da Eval20 Reimagined: A Virtual Experience, a conferência anual da American Evaluation Association (AEA), que, em razão da pandemia de Covid-19, aconteceu de forma online pela primeira vez, entre os dias 27 e 31 de outubro. 

A edição deste ano contou com mais de 100 seções e apresentação de mais de 200 trabalhos e pôsteres sobre práticas, soluções e tendências avaliativas pelo mundo. Jasmim Madueño, coordenadora do grupo de jovens avaliadores da Rede Brasileira de Monitoramento e Avaliação (RBMA), foi uma das avaliadoras que teve sua participação no evento apoiada pela Agenda de Avaliação do GIFE. 

Participando pela primeira vez, ela defende que um dos pontos positivos do encontro online foi a realização de sessões mais curtas, com duração média de 45 minutos, o que permitiu aos participantes acompanhar diversas palestras. Além disso, Jasmim também reforçou que  a conferência foi uma oportunidade de ter um panorama do que está sendo pesquisado e desenvolvido em termos de avaliação no contexto global. 

O papel do avaliador e do contratante 

Segundo Ana Lima, fundadora da Conhecimento Social e consultora da Agenda de Avaliação, um tema muito explorado durante o evento foi o papel do avaliador e de suas crenças e cultura no processo avaliativo. 

Para a consultora, as mesas e palestras deixaram claro que, mesmo o avaliador tendo posições, visões e opiniões próprias, isso não pode afetar a objetividade da avaliação, perspectiva primordial no trabalho avaliativo. “É uma questão de como o avaliador dialoga eticamente consigo mesmo, com seu cliente e objeto de estudo, considerando sua inserção em uma sociedade, com visões e concepções sobre ela. É um equilíbrio entre a objetividade da avaliação e esse lugar de ator social que todos ocupamos. Isso é bastante desafiador.” 

Além disso, Ana comenta que, há alguns anos, os Estados Unidos, um dos países que lidera a produção sobre avaliação, já discute sobre a importância de uma diversidade do olhar partindo também dos contratantes e financiadores das avaliações. “Em uma avaliação exemplar, é importante cuidar para, aos pontos de vista do doador ou do avaliador, sejam incorporadas outras visões, especialmente aquela dos públicos beneficiados pelo projeto avaliado. É fundamental evitar um ‘olhar de estrangeiro, que observa o outro apenas como objeto da intervenção ou do estudo avaliativo”, explica.

Segundo ela, essa edição da conferência reforçou questões prévias e pós-avaliação, como o que a solicitação da avaliação deve abordar, quais parâmetros levar em conta no início da avaliação e o uso dos resultados depois dos trabalhos. “É um convite para que o filantropo e o investidor social, ao solicitarem uma avaliação, explicitem essa necessidade de equilibrar a natural posição de poder ocupada por quem doa os recursos. O avaliador também tem um papel importante ao provocar para que o investidor perceba o valor de envolver outros olhares no desenho, planejamento e execução de uma avaliação.” 

Para Fernanda Seidel, analista de programas sociais do Itaú Social, foi interessante ouvir sobre a importância de avaliadores se dedicarem emocionalmente aos processos avaliativos. “Uma mensagem muito forte trazida nas mesas é a questão de que avaliadores devem colocar a sua missão na avaliação, fazer isso com amor e com afeto. Para mim, que tenho uma formação de economista, é muito diferente alguém falar isso seriamente em um congresso.”

Diversidade e equidade na avaliação  

A questão da diversidade e equidade na avaliação também foi abordada e desdobrada em diferentes aspectos. Várias das mesas das quais Jasmim participou reforçaram a importância da inclusão de minorias e de um olhar do próprio avaliador e/ou de quem contrata avaliação para grupos que são normalmente excluídos. “Em um primeiro momento, nós pensamos inclusão como ter essas pessoas no grupo. Mas, na verdade, o que foi abordado é uma forma de avaliação que seus resultados permitam traduzir ou refletir a realidade daquelas populações, e de uma forma que, ao longo do processo avaliativo, essas pessoas, às vezes como beneficiárias de um programa que está sendo avaliado, sejam verdadeiramente incluídas.”  

Ela exemplifica citando a participação de uma pessoa com deficiência visual ou com Transtorno do Espectro Autista (TEA), e como o avaliador deve ter a missão de pensar em como acessar as percepções dessa pessoa e deixá-la à vontade durante o processo, mesmo que, em seu dia a dia, não tenha contato com outros indivíduos com essas características. 

Fernanda, por sua vez, comenta que buscou participar de mesas que abordavam questões envolvendo promoção da equidade na avaliação, ética, dinâmicas de poder nos processos avaliativos, e a reflexão da avaliação como um instrumento para proporcionar equidade. “Essas temáticas já haviam sido trazidas pelo Seminário Internacional de Avaliação realizado em setembro pelo GIFE e Itaú Social, mas olhando a programação da conferência da AEA, foi possível perceber muitas mesas direcionadas a temas como feminismo, a mulher negra na avaliação e muitos outros.”  

O que é considerado evidência em um processo avaliativo 

Fernanda reforça que sua participação no evento trouxe novos olhares sobre determinados aspectos da prática. Para ela, uma mensagem forte foi a importância de ampliar o olhar sobre o que pode ser considerado como evidência em um processo avaliativo. 

“Até por conta do Seminário Internacional, temos algumas questões latentes dentro do Itaú sobre as quais ainda estamos refletindo. E a AEA trouxe novas perspectivas também. Já temos projetos, por exemplo, nos quais tentamos usar outros tipos de instrumentos. Entretanto, ainda acredito que podemos sair da dicotomia de pesquisa quantitativa ou entrevista e aprofundar mesmo, pensar no que podemos ouvir das pessoas e trazer como evidência para os programas de uma maneira mais ampla e dando mais voz a elas”, explica. 

Aplicação ao contexto brasileiro 

Outra questão que merece destaque é a abordagem do que os palestrantes chamaram de competências culturais. Mesmo que o campo avaliativo tenha forte presença de atores e profissionais norte-americanos, canadenses e europeus, é importante que as práticas avaliativas considerem questões do local onde o projeto a ser avaliado acontece. “É sempre um desafio, pois estudamos baseados nesses atores, que acabam puxando o campo. Então um avaliador tem que ter várias competências, entre elas as competências culturais. Ser brasileiro já ajuda nesse processo, mas não é suficiente, é necessário ter uma atenção intencional para isso”, reforça Jasmim.  

Ana Lima cita que a Agenda de Avaliação do GIFE tem se movimentado neste sentido de estabelecer relações entre os processos avaliativos e as características e cultura brasileira. O lançamento do documento Diretrizes para a Prática de Avaliação no Brasil, elaborado pela RBMA com apoio da Agenda, foi um movimento nesse sentido, uma vez que a produção já traz uma abordagem avaliativa voltada ao contexto brasileiro. 

“Agora, estamos inspirados a, no próximo ano, fazer uma tradução ainda mais contextualizada dessas tendências avaliativas para o Brasil. Então é pegar essas discussões de valores, princípios e multiculturalismo que vem da inspiração internacional e aterrissar para o nosso contexto.”

Importância do uso e aplicação dos resultados 

Jasmim reforçou sobre a possibilidade que o evento oferece de assistir aos grandes nomes da avaliação e ter um maior contato com pesquisadores e estudiosos do campo. Nesse sentido, ela cita Michael Patton e a abordagem Utilization-focused evaluation, ou seja, a importância de usar os resultados de processos avaliativos. 

“Ele traz essa abordagem em que todo o processo avaliativo é construído e voltado para que seus resultados sejam de fato utilizados, pois não adianta fazer uma avaliação super bem feita e isso parar em uma gaveta e não ser utilizado. Perde o propósito”, explica Jasmim. 

Além disso, ela estabelece uma relação entre essa abordagem e os investidores sociais que constituem o público do GIFE, que são contratantes de processos avaliativos. A coordenadora cita Patton para afirmar que os investidores são pessoas fundamentais na avaliação, por serem grandes usuários dos resultados que surgem desses trabalhos. “Ele deixa muito marcada a importância do uso da avaliação e o foco de um processo avaliativo estar em torno das pessoas que podem realmente utilizar esses resultados, tomar uma decisão baseada naquelas informações e fazer com que os relatórios e informações sejam úteis para o programa ou projeto avaliado.” 

Dividindo aprendizados 

A Agenda de Avaliação do GIFE irá promover um evento para que os participantes da conferência anual da AEA possam dividir aprendizados e destaques com aqueles que não acompanharam o encontro, sobretudo no que diz respeito a processos avaliativos pensando em investidores sociais. Será uma reunião online, gratuita, a ser realizada no dia 3 de dezembro, das 10h às 12h. Saiba mais e participe.