Maria Cecília Prates Rodrigues*

A avaliação de impacto de projetos sociais é tradicionalmente associada aos métodos experimentais, para se estimar os “efeitos líquidos” do projeto na vida dos seus participantes. Por meio de modelos estatísticos, é feita a comparação da evolução dos resultados entre o grupo dos participantes (grupo do experimento) e o grupo dos não-participantes com características bastante semelhantes ao primeiro grupo (grupo de controle). As diferenças identificadas entre os grupos são, então, atribuídas ao projeto social.

Nos meios acadêmicos, há quem considere que se esses métodos não forem aplicados com os cuidados do rigor científico, então a avaliação é “ingênua”, mera prática de não-especialistas e com baixa credibilidade. Mas será que se pode mesmo falar em um padrão de avaliação de impacto do tipo “one size fits all”, no caso os métodos experimentais, para avaliar os impactos dos diferentes projetos sociais?

Foi no meio do século passado que os métodos experimentais foram importados das pesquisas de laboratórios para avaliar os programas sociais do setor público. Estes em geral são programas de grande escala (nível nacional ou estadual), voltados para solucionar problemas emergenciais ou de política pública – e fortemente sujeitos a críticas e manipulações de caráter eleitoral.

A implementação dos métodos experimentais, nas esferas de governo ou de organismos internacionais, é feita normalmente em parceria com universidades, uma vez que os modelos estatísticos a serem desenvolvidos exigem rigor na equiparação estatística dos grupos. Se não houver esse rigor, corre-se o risco de se embrenhar na complexidade do método, sem chegar a uma interpretação consistente sobre as mudanças sociais havidas.

Ademais, a pesquisa experimental é exigente quanto ao tamanho das bases de dados para se tornar viável; é cara, pois implica em levantar informações para atores que não participaram da intervenção; e é demorada, pois há que se esperar a maturação dos resultados desejados no longo prazo. Se bem conduzidos, os métodos experimentais podem, sim, ser adequados para avaliar os resultados dos programas sociais do setor público ou das organizações sociais de grande porte com atuação social bem próxima à dos governos.

Porém, a realidade das iniciativas sociais na maioria das organizações do terceiro setor é bem distinta. Há que se desenvolver uma lógica de avaliação de projetos sociais nessas organizações que seja coerente com as suas especificidades, com as necessidades de gestão do projeto, com os recursos da organização e as capacidades de suas equipes de interagir com a avaliação.

Nas organizações do terceiro setor, tanto no Brasil quanto em outros países, os projetos sociais tendem a ter caráter pontual (determinado local), pequena escala, e buscam preservar o seu diferencial de proximidade com o público-alvo. Também são concebidos dentro de uma lógica de setor privado, em que os projetos devem estar plenamente articulados com a missão da organização e a sua estratégia de gestão.

Atualmente, a maioria dessas organizações sociais é pequena, em fase inicial de estruturação, e longe de ter recursos para “bancar” uma pesquisa do tipo experimental – nem financeiros, e nem equipe técnica preparada para saber demandar esse tipo de avaliação, julgar a sua adequação e interpretar as saídas dos modelos estatísticos trazidos pelos especialistas contratados.

Daí que avaliação de impacto de projetos sociais deve funcionar como um instrumento para orientar a condução das ações do projeto dentro da organização. É importante ter claro que a avaliação deve começar até antes do próprio planejamento do projeto. Ou seja, é a avaliação de marco zero, feita de modo participativo com a comunidade-alvo do projeto e os seus outros públicos relevantes, que vai fornecer as bases para o planejamento da intervenção.
Durante o planejamento são, então, estabelecidos os indicadores de impacto e de processo a serem acompanhados, e definidos os instrumentos para a coleta dos dados. Durante a execução do projeto, a avaliação de processo (ou monitoramento), feita regularmente, vai produzir as informações necessárias aos gestores para as devidas correções de percurso. Ao final do projeto (ou de um ciclo relevante) é feita a avaliação de impacto para detectar as mudanças na vida dos beneficiários atribuídas ao projeto.

O ponto importante é que a avaliação de impacto social deve estar entranhada na organização, falando a linguagem da organização, servindo como um farol para guiar a tomada de decisão e a condução das atividades do projeto social.

Nesse cenário desejado, as equipes do projeto entendem o papel da avaliação, estão fortemente comprometidas, vão “crescendo” com ela e sendo gradualmente capacitados. Assim, quando a organização social está em estágio “de criança”, o seu modelo de avaliação de impacto das iniciativas sociais deve ser bastante simples, constituído por uma ou duas perguntas avaliativas básicas: como era antes? Como ficou depois? O projeto contribuiu?

À medida que a atuação social da organização for se expandindo, o seu modelo de avaliação deve também ir se adaptando para incluir os novos desafios que vão sendo trazidos. No extremo, se for o caso, pode até chegar a incorporar os métodos experimentais a serem conduzidos por especialistas externos.

No entanto, qualquer modelo de avaliação que se adote, dos mais simples aos mais complexos, os cuidados metodológicos são imprescindíveis para garantir a credibilidade nos achados da avaliação, tais como definição dos conceitos e indicadores, elaboração dos questionários, definição das amostras, aplicação de testes estatísticos. Por menor que seja a escala do projeto social, não é um vídeo de case de sucesso ou uma pesquisa pouco criteriosa junto aos seus beneficiários que vão ser aceitos como evidências de que o projeto atingiu os resultados esperados. Pode haver rigor em avaliações simples.

Há, sem dúvida, uma longa trajetória a ser percorrida no campo da avaliação de impacto das organizações do terceiro setor. Primeiro, é preciso fazer com que a avaliação, entendida no seu sentido abrangente [avaliação de marco zero, avaliação de processo , avaliação de impacto ou resultados], assuma para essas organizações o papel efetivo de ferramenta de gestão voltada para resultados. Atualmente a grande maioria das organizações sociais ainda não sabe estruturar com objetividade os seus projetos sociais, pois elas não conseguem explicitar uma vinculação coerente entre o(s) problema(s) social(is) detectado(s), o que se quer atingir no projeto e o que será feito para isto.

Segundo, é preciso sensibilizar e investir na capacitação das equipes executoras das organizações sociais para a avaliação dos projetos sociais. Elas têm que passar a perceber a avaliação como um aliado, parte integrante do seu trabalho, para orientar a forma de fazer melhor as coisas. O que ocorre hoje é que a avaliação tende a ser vista por essas equipes como um fardo, por terem que levantar dados para atender aos requisitos do financiador, com isto tendo que subtrair tempo de suas “nobres” atividades junto aos beneficiários.

Terceiro, a partir das demandas que forem surgindo dentro das próprias organizações sociais, é preciso ir aos poucos avançando para buscar externamente, ou desenvolver internamente na instituição, métodos mais robustos para avaliar o impacto dos seus projetos sociais. Assim, por exemplo, há que se começar com o planejamento bem feito e enxuto dos projetos sociais e adaptado à dinâmica da intervenção. Prosseguir no desafio da correta especificação dos indicadores e operacionalização dos conceitos subjetivos adotados no projeto. Buscar maneiras para a formulação de perguntas adequadas aos beneficiários, de modo a conseguir boas aproximações para a causalidade do projeto quanto às mudanças observadas. Desenvolver software para apoiar no monitoramento do projeto e na coleta de informações junto aos participantes.

Enfim, dessa reflexão procurei argumentar que, em avaliação de impacto “one size does not fit all”. Diferente do setor público, em se tratando da grande maioria das organizações do terceiro setor, o fundamental na avaliação é produzir boas aproximações acerca dos resultados alcançados, de modo a orientar na gestão do projeto social. Desde que obedeça a critérios metodológicos básicos, a organização social deve adotar, para os seus projetos, o modelo de avaliação que melhor atenda a essas necessidades.

*Maria Cecília Prates Rodrigues é autora dos livros “Ação social das empresas privadas: como avaliar resultados? (Editora FGV, 2005); “Projetos sociais corporativos – como avaliar e tornar essa estratégia eficaz” (Editora Atlas, 2010). Site: www.estrategiasocial.com.br

Os artigos publicados com assinatura não correspondem à opinião do GIFE. Sua publicação obedece ao propósito de estimular o debate sobre o setor social brasileiro e o investimento social privado.