Daniel Brandão*

A avaliação de programas e projetos está instalada na agenda de investidores sociais privados brasileiros. O país conta com um notável grupo de empresas, fundações e institutos que empreendem avaliações, experimentam diferentes abordagens metodológicas, diversificam a utilização das informações geradas e avançam na articulação entre avaliação e planejamento.
O amadurecimento desta prática faz emergir novas questões, com especial atenção para aquelas relacionadas com a qualidade da avaliação. Afinal, o que é uma boa avaliação e quais são os parâmetros para julgar sua qualidade?

As referências que utilizamos no Brasil para este debate foram construídas pelo Joint Committe on Standards for Educational Evaluation (1) , uma comissão criada nos Estados Unidos na década de 1970 para definir os standards que deveriam guiar avaliadores na condução de seu trabalho, bem como orientar qualquer profissional interessado em atribuir valor para a qualidade do processo avaliativo. Foram estabelecidos cinco padrões: utilidade (ela é útil para seus interessados?), viabilidade (ela é viável com os recursos disponíveis?), precisão (os dados são precisos e confiáveis?), propriedade (ética, o respeito às pessoas e seus direitos foi observado?) e transparência (a avaliação está plenamente registrada e permite uma meta-avaliação?). Cada um destes standards traz uma série de descritores internos que podem ser conhecidos nas publicações do comitê (2) , mas este detalhamento escapa aos contornos deste texto.

Por mais que pareça simples, a tradução dos standards para o cotidiano dos projetos não é óbvia. A utilização, por exemplo, está relacionada à capacidade da avaliação agregar informações úteis e relevantes para todos os interessados no projeto e com isso orientar o manejo de suas estratégias. A utilidade de uma avaliação está intrinsecamente associada ao seu sentido, ou seja, a motivação ou causa que gera o processo avaliativo. Faz-se necessário ponderar sobre o porquê de se avaliar e qual será a função da avaliação na dinâmica do projeto.

Refletir sobre estes aspectos serve como anteparo para que a avaliação não se burocratize e escape ao risco de se tornar apenas mais uma atividade a atender normas institucionais, uma vez que o senso geral aponta que todo projeto deve ser avaliado. Neste contexto, consideramos que os investidores sociais privados devem estar atentos ao recente fenômeno da transformação da avaliação em metas anuais a serem cumpridas por gestores, aspecto que tem duas facetas: por um lado indica avanços na institucionalização da avaliação nas organizações, por outro gera risco de esvaziar seu sentido e enfraquecer seu potencial estratégico de utilização.

O standard da utilidade está sempre ancorado na precisão das informações, isto é, para que uma avaliação se torne útil ela precisa trazer informações confiáveis, o que exige muito cuidado com o desenho metodológico a ser adotado, bem como com a comunicação rigorosa dos resultados, escapando a vieses e interpretações distorcidas. O rigor na escolha das metodologias e o conhecimento de suas capacidades e limites são centrais para o avanço da boa avaliação.

No campo metodológico está instalado um forte debate, ou mesmo uma disputa, sobre quais são os métodos mais potentes para expressar a relação de causalidade entre os resultados encontrados e o projeto avaliado, ou seja, saber se o resultado observado foi de fato causado pelo projeto e não por outra variável. Há grupos que defendem, com certa intransigência em muitos casos, o imperativo do dispositivo do contrafactual, seja em desenhos experimentais ou quasi-experimentais, como alternativa única para estabelecer relações causais.

Há aqui um enorme risco, já observado em situações concretas, de inversão de papéis no qual o método se torna o protagonista e o projeto fica a seu serviço, obrigado a atender diversas exigências metodológicas “para que possa ser avaliado”. A situação é absurda, uma vez que o desenho da avaliação é que deve responder às condições do projeto e não o contrário. Assim, o método vai se tornando um fetiche e muito gestores de investimento sociais se perguntam sobre como avaliar sem sequer antes considerar o que irão avaliar.

Vale aqui resgatar a sábia fala da Dra. Jane Davidson durante o Seminário Internacional A Relevância da Avaliação para o Investimento Social Privado (São Paulo, Julho 2012) (3) , durante o qual afirmou preferir uma avaliação que gere um conjunto de informações significativas, ainda que com certa imprecisão, do que processos que produzem dados extremamente precisos, mas esvaziados de sentido porque priorizam apenas o rigor metodológico.

Evidentemente, o desenho que uma avaliação assume será refletido em recursos financeiros e volume de tempo necessários para a sua adequada condução. O standard da viabilidade representa estas preocupações. Uma avaliação terá custo delimitado e período de tempo definido para ser realizada. E as opções que fará precisam ser aplicáveis ao contexto do projeto, o que significa atentar para o palco político e cultural no qual se desenvolve. Temos visto com otimismo o amadurecimento deste standard entre investidores sociais privados. Muitos têm lutado para viabilizar orçamentos para a avaliação, desenvolvem tolerância ao tempo que o processo exige, raramente capaz de trazer informações em prazos muito curtos, e lançam olhares atentos ao jogo de forças que os atores envolvidos representam.

Por atuar com pessoas que apresentam distintos interesses e que têm envolvimentos plurais com o projeto, o imperativo da condução de processos éticos se impõe, retratados no standard da propriedade. O respeito à existência de acordos formais entre os envolvidos com avaliação, à dignidade dos sujeitos, à identificação franca de conflitos de interesses, ao compromisso fiscal sobre os recursos financeiros, entre outros, compõe este padrão. Não existe no Brasil um protocolo que regule a boa conduta para uma avaliação, mas a observação da resolução 196/96 do Conselho Nacional de Saúde, que versa sobre ética em pesquisa, oferece uma guarida segura para orientar processos zelosos entre todos os que estão nele envolvidos.

Por fim, o quinto e último padrão á o da transparência. Este é o mais recente dos cinco, tendo sido proposto apenas em 2011 quando foi lançada a terceira edição dos standards pelo Joint Committe on Standards for Educational Evaluation. Ao versar sobre meta-avaliação (a avaliação da avaliação) este standard encontra pouco desenvolvimento nas práticas brasileiras. Estas experiências são ainda muito raras no país, o que não nos parece um problema. Estamos em uma etapa onde a avaliação se estabelece entre investidores sociais ao sair dos discursos e ganhar experimentações concretas. Exigir que estas avaliações já sejam avaliadas pode parecer prematuro. Mais importante é construir um repertório de experiências, trocar aprendizagens entre fundações e institutos para, no futuro, refinar as avaliações por meio da meta-avaliação.

A partir da perspectiva que os standards nos oferecem a boa avaliação é aquela que alcança um bom equilíbrio entre utilidade, viabilidade, precisão, propriedade e transparência, uma vez que cumprir plenamente todos os requisitos de todos estes padrões é possível apenas no campo teórico, mas inviável no plano real.

Qualificar avaliações no Brasil é um dever e um desafio a ser enfrentado por avaliadores e gestores de programas e projetos uma vez que as boas avaliações podem agregar inteligência estratégica para o investimento social e apoiar decisões consistentes para gerar práticas mais efetivas e eficazes no enfrentamento dos problemas sociais do país.

(1) http://www.jcsee.org/
(2) Yarbrough, D. et al. The Programa Evaluation Standards: A guide for evaluators and evaluations Users. 3o Edition. Sage Publications, California, 2011.
(3) Os resultados do seminário estão em livro que pode ser baixado aqui.
_________________________________________________________________________________

* Daniel Brandão é Diretor Executivo da MOVE: Avaliação e Estratégia em Desenvolvimento Social .
Os artigos assinados não refletem necessariamente a opinião do GIFE ou de seus associados. Sua veiculação nos canais de comunicação do GIFE tem como objetivo estimular o diálogo sobre os desafios e oportunidades para o campo social, tal como refletir sobre as tendências do setor.