Apesar de ser um tema cada vez mais debatido no âmbito de ações, projetos e programas,  e ter sua  importância reconhecida em diversos contextos, a avaliação no Brasil ainda se apoia em muitas pesquisas e estudos publicados internacionalmente. Para contribuir com a elaboração de  documentos nacionais sobre o tema e que conversem com a realidade do país, a Rede Brasileira de Monitoramento e Avaliação (RBMA), com apoio e parceria da Agenda de Avaliação do GIFE, lançou o documento Diretrizes para a Prática de Avaliação no Brasil. 

As diretrizes são um convite para que a sociedade brasileira amplie sua apropriação e capacidade crítica sobre as avaliações, intensificando sua presença na coprodução dos pensamentos e práticas neste campo. “Ter um documento que promove a reflexão sobre aprendizagem e utilização; contextualização e valoração; direitos e integridade; e métodos e viabilidade; pode melhorar a qualidade da produção avaliativa brasileira e a sua relevância para os diversos públicos envolvidos”, explica Marcia Joppert, diretora da RBMA.

A especialista reforça que a pesquisa não visa responder todas as perguntas que permeiam a prática avaliativa, mas sinalizar aspectos importantes que devem ser levados em conta para uma boa avaliação. “O movimento criado em torno da elaboração das diretrizes, com a participação de mais de 180 profissionais das diversas vertentes do campo avaliativo, levou-os a pensar em critérios que definem a qualidade de uma avaliação.” 

Camila Cirillo, coordenadora executiva da Agenda de Avaliação do GIFE, explica que documentos como este  contribuem para a criação de bases comuns de diálogo. “Quando pensamos na utilidade desse material, faltava um documento que fosse relevante, que conectasse as duas pontas, ou seja, os avaliadores e aqueles que demandam avaliações, e também que pudesse servir para orientar a contratação e acompanhamento de um processo avaliativo, a disseminação dos resultados ou até apoiasse a realização de uma meta-avaliação: o olhar para avaliações já realizadas para decidir se têm ou não qualidade”, afirma. 

Diretrizes 

Um extenso projeto de pesquisa e escuta de atores do campo com o objetivo de propor marcos comuns para as avaliações realizadas no Brasil deu origem a 26 diretrizes divididas em quatro dimensões: aprendizagem e utilização, direitos e integridade, contextualização e valorização, e método e viabilidade. 

Em linhas gerais, as orientações determinam características desejáveis que processos avaliativos devem observar. Porém, não se trata de etapas ou um caminho único a ser seguido: o guia pode ser lido a partir de qualquer dimensão, tendo em vista que as diretrizes conversam entre si. 

Em aprendizagem e utilização, por exemplo, o documento ressalta que o processo avaliativo deve responder às necessidades de informação e conhecimento dos interessados, possibilitando a aprendizagem sobre o objeto avaliado. Nessa dimensão, estão implicadas orientações como níveis de participação adequados aos interessados, elaboração de perguntas relevantes, conclusões fidedignas e comunicação cuidadosa. 

Em direitos e integridade, por sua vez, pontua-se que as avaliações devem reconhecer e respeitar os direitos e posições sociais, culturais e políticas dos envolvidos. Esse é um dos motivos pelos quais um processo avaliativo pode ser uma ferramenta para a desconstrução de desigualdades. 

Além das diretrizes em si, o documento também conta com diversas explicações sobre  conceitos específicos do campo das avaliações. Para Camila, esse aspecto é importante para ajudar a compreensão principalmente por parte dos  contratantes de processos avaliativos, que nem sempre têm clareza ou conhecimento aprofundado a respeito do tema.

Ferramenta para redução das desigualdades 

Um dos aspectos enfatizados no documento é que boas avaliações podem ser ferramentas importantes para a redução das desigualdades, uma vez que “têm favorecido a transparência das ações públicas e privadas, ampliado o acesso a informações, qualificado processos de implementação, melhorado o gasto público e ajudado agendas a ganharem relevância, demonstrando que as conexões entre avaliação, democracia e redução de desigualdades são efetivamente possíveis.” 

Para Marcia, o olhar para as desigualdades deve ser transversal a todo o processo. Isso significa, por exemplo, entender qual é o critério de elegibilidade do público beneficiado por determinado projeto ou programa durante a etapa de desenho da avaliação, além de identificar o perfil do público em termos de gênero, raça, cor, situação econômica e território. 

Já  durante o mapeamento dos envolvidos deve-se ter o reconhecimento de diferentes grupos e a garantia de que sejam representados no processo, e, na elaboração das perguntas incluir questões que tragam à tona os aspectos de desigualdade, além de definir os instrumentos de coleta de dados. “Isso se consegue, geralmente, com a participação dos grupos menos favorecidos e a disposição dos promotores em dar voz a tais grupos”, aponta a especialista.

Além disso, ela reforça que, apesar de o processo ser extenso e contar com a participação de inúmeras pessoas, foi unânime a compreensão de que a avaliação é importante para o aprimoramento da democracia. “Junto com esse conceito, vieram muito fortes os de diversidade, transparência, validade científica, ética e compromisso com as grandes transformações necessárias da sociedade.”  

Apoio a avaliadores e contratantes de avaliação 

O documento esclarece que são múltiplas as compreensões sobre avaliação, suas inserções institucionais e seus objetos de interesse, o que faz com que as diretrizes sejam destinadas a inúmeros atores na sociedade brasileira. Entre eles, estão os próprios avaliadores, isso é, profissionais que serão contratados para pesquisar, conceber, tocar e finalizar processos avaliativos de ações, atividades, programas e projetos. 

Ana Lima, consultora da Conhecimento Social e da Agenda de Avaliação do GIFE, reforça que as diretrizes podem trazer boas reflexões e aprendizagens que incidam  na tomada de decisões com base na observação e compreensão do contexto. “O texto traz importantes referências para a construção de diálogos cada vez mais qualificados entre os investidores sociais/gestores de programas por eles desenvolvidos ou apoiados e os especialistas em avaliação. A própria estruturação em quatro dimensões interconectadas explicita a necessidade de engajamento tanto de avaliadores, como de contratantes ao longo de um bom processo avaliativo.” 

A expectativa é também que o documento ajude os contratantes de avaliação na elaboração dos termos de referência para a seleção das propostas e das consultorias, bem como apoie a implementação e condução do processo, por exemplo, ressaltando pontos importantes aos quais o avaliador deve estar atento. 

Em relação aos avaliadores, Marcia pontua que as diretrizes podem ajudá-los no desenho dos processos junto aos clientes, com alinhamentos sobre o entendimento do contexto e do objeto, as perguntas, critérios e métodos, e a forma de envolvimento dos atores interessados, tudo isso a partir dos termos de referência. 

Diversos em sua natureza, os processos avaliativos conversam com diferentes temas e objetivos. Por isso, as diretrizes podem servir também a conselheiros de direitos, movimentos sociais, ativistas, jornalistas, agentes públicos, parlamentares, dirigentes, assessores, equipes técnicas, organizações da sociedade civil (OSCs) e do investimento social privado (ISP), sindicatos, partidos políticos, agentes do setor privado, docentes, pesquisadores, técnicos e consultores. 

Processo

O ponto de partida para a elaboração das diretrizes foi o documento Diretrizes para Avaliação na América Latina e no Caribe. O esboço criado a partir de leituras e debates desse material foi analisado por especialistas brasileiros no tema, etapa que deu início a um extenso processo de análise, escuta do campo e lapidação das recomendações. 

A segunda versão, criada a partir desse processo, por sua vez, foi enviada a um grupo de 200 pessoas, entre pesquisadores, docentes, consultores, gestores públicos e gestores e técnicos de organizações da sociedade civil escolhidos por um Grupo de Trabalho, dos quais 105 analisaram o documento e responderam a uma pesquisa. Uma terceira versão foi analisada por cinco grupos de interesse definidos pelo GT. A última rodada foi realizada pela Agenda de Avaliação do GIFE e a Diretoria e Conselho da RBMA. 

Para Ana Lima, o processo colaborativo de construção do documento foi um dos pontos altos da iniciativa. “Ao submeter o texto a múltiplas visões, trajetórias e experiências, ele foi ganhando em consistência e relevância e desafiando seus organizadores a colocar em diálogo toda essa riqueza.” 

Segundo a consultora, o próprio processo contribuiu para a existência de um marco de referência materializado no documento, que traz “novas oportunidades de aproximar conceitos e práticas avaliativas dos temas e contextos em que os programas atuam e de apurar o olhar sobre o envolvimento de parceiros e beneficiários nos processos avaliativos, a partir da perspectiva da integridade e dos direitos.” 

Acesse 

O documento Diretrizes para a Prática de Avaliação no Brasil está disponível para download no site da Agenda de Avaliação do GIFE. Acesse.