“Utilidade, viabilidade, ética, precisão e prestação de contas”. São estes os cinco aspectos fundamentais para que uma avaliação tenha valor. Quem ensina é Thereza Penna, professora da Universidade Federal do Rio de Janeiro (UFRJ), coordenadora do Centro de Avaliação da Fundação Cesgranrio e consultora nacional e internacional sobre o tema. E ainda completa: “A avaliação de um programa social vê o mérito, ou seja, se os recursos estão sendo bem gastos; a relevância da iniciativa, se valeu a pena, se teve efeito e impacto; e a sua importância”.

Estas e tantas outras dicas e orientações trazidas por Thereza fizeram parte do 3º encontro do Ciclo de Avaliação, promovido pelo GIFE, pela Fundação Itaú Social e a Fundação Roberto Marinho em São Paulo, no dia 04 de maio. A atividade foi a segunda da etapa “Durante” do Ciclo (confira, ao fim da matéria, os links para os demais conteúdos). A proposta foi dar continuidade às discussões acerca dos desafios da implementação de processos avaliativos em projetos de investimento social privado.

O conteúdo do encontro foi construído tendo como inspiração casos reais coletados junto aos vários participantes do Ciclo nos encontros anteriores, que apontaram questões e desafios relevantes e frequentes na implementação dos processos avaliativos. No total, foram 10 organizações participantes que compartilharam dados sobre 12 programas: oito de educação; dois de desenvolvimento local/comunitário; um de formação para o mercado de trabalho; e um de habitação.

No levantamento, foi possível perceber a diversidade das iniciativas por diversos aspectos, tanto em relação ao tempo de experiência (algumas com mais de dez anos e outras em ação há apenas um ano), por exemplo, quanto pela abrangência (atendimento em só em um município e outros projetos em mais de 700 cidades ao mesmo tempo).

As organizações apontaram também diferenças de metodologias e de objetivos das avaliações –  sendo o principal a perspectiva de demonstrar resultados para potenciais apoiadores e/ou parceiros – e de investimento nos processos avaliativos – uns que pretendiam gastar R$50 mil na avaliação e outros até R$1 milhão.

A partir desse levantamento, foram escolhidos três perfis de projetos – alinhados a políticas públicas; com foco em desenvolvimento local e comunitário e olhar territorial; e temático (habitação) – e os participantes do encontro puderam discutir a respeito em suas mesas, para, em seguida, debater com os especialistas presentes e esclarecer suas dúvidas em relação a diversas questões: Que tipos de grupos avaliadores devem ser buscados?; Como isolar o impacto das ações do ISP em determinado locais em que há outros atores atuando também? Como definir o tempo correto dos ciclos de avaliação? Como construir engajamento num processo avaliativo, sem distorcer a avaliação?, entre tantas outras.

Para exemplificar e demonstrar em qual processo avaliativo aposta e acredita, Thereza trouxe como exemplo a avaliação de impacto que promoveu, com mais dois especialistas, sobre o Programa Social de Meninos e Meninas de Rua no Brasil, a pedido do Unicef, em 1986. O ponto de partida era entender “O que foi que havia mudado nestas crianças que participavam de 11 programas em cinco regiões do Brasil”.

A metodologia, flexível e inovadora, incluiu a identificação de indicadores de impacto baseados nos dados de campo, nas pistas – como ela chama -, que foram levantados a partir de conversas abertas com as crianças. Os dados foram coletados por meio de observação, conversas, entrevistas, dramatizações etc., sem nenhum instrumento mecânico para documentar, pois o desafio era justamente abordar as crianças sem assustá-las e garantir respostas com liberdade.

Os gestores e coordenadores dos programas também eram ouvidos para validar os possíveis achados e, ao final, foi possível estabelecer os indicadores com maior e menor impacto, descobrindo mudanças até então não percebidas. Segundo a especialista, a “metodologia de rua” que utilizaram, e não uma “metodologia rigorosa”, baseada na escuta, no diálogo, na participação efetiva de todos, fez com que a avaliação fosse bem-sucedida.

“Por isso, o primeiro passo para desenvolver uma avaliação participativa é conhecer o público. Se for com jovens, é preciso ter esse contato, ouvir as suas questões. Primeiro você precisa ver sobre o que eles querem falar, suas motivações etc.  É assim que você conquista e leva à participação: não é falar, é escutar”, ressaltou.

Outro aspecto importante, segundo a especialista, é que o avaliador que participará do processo esteja desde o início do projeto, para estabelecer um contato com os envolvidos e não se colocar como uma pessoa estranha, de fora, que vem apenas dizer o que está certo ou não.

Thereza destacou ainda que um ponto nevrálgico da avaliação de programas sociais é a impossibilidade de isolar outros fatores que também podem estar contribuindo para aquele impacto, a fim de identificar o que, de fato, é 100% de impacto da ação do investidor social.  Como não se trata de experimentos médicos, por exemplo, e sim iniciativas que envolvem pessoas em desenvolvimento, em situações complexas, muitos aspectos são interdependentes.

“É preciso, no momento da avaliação, um equilíbrio. Você vai sim, claro, buscar as possíveis causas de um resultado, mas precisa ter em mente que não vai ser uma avaliação tão precisa como num estudo científico. Para isso, a avaliação irá utilizar observação, entrevista, história de vida, a busca de evidências que explica essa causalidade. E utilizará também instrumentos mais calculados, bem objetivos, como lista de checagem, questionários etc. No social, estamos sempre nos aproximando, para dar a chance de ver o que outros não conseguiram ver. Ou seja, é uma descoberta de múltiplos impactos, sem esquecer o impacto da própria avaliação, pois ela é feita para ajudar a crescer”, pontuou.

Avaliação de impacto

Mas, afinal, existe uma receita única para a avaliação de projetos de ISP? Na percepção das especialistas presentes, não, principalmente pela própria diversidade entre as iniciativas desenvolvidas pelas instituições, como mostrou o levantamento realizado para inspirar o encontro.

Porém, antes de mais nada, é preciso ter clareza do que se entende por “impacto”. Segundo a professora da UFRJ, o conceito de impacto é muito variável, depende do que o próprio programa quer promover de mudança. “Mas, no geral, impacto é entendido como algo que impressiona, transforma, muda. Ou seja, é um efeito que você vai ter sobre algo que fez. Às vezes, é chamado também de relevância: contribuiu para a sociedade? Então teve impacto. Agora, as leis, por exemplo, contribuem para a sociedade, mas às vezes não têm impacto. Teve mérito, mas não teve impacto, não houve efeito, não teve mudança. Por isso medimos se teve mais ou menos impacto”, explicou Thereza.

Segundo Ana Hermeto, pesquisadora do Centro de Desenvolvimento e Planejamento Regional (Cedeplar) da Universidade Federal de Minas Gerais (UFMG), muitas vezes os resultados das avaliações são mais de processos e não de impacto real, por mais que o objetivo fosse de mudança. “Por exemplo, a mudança de prática pedagógica, de gestão, é um objetivo de eficiência do próprio projeto, de que ele alcançou a meta. Mas isso é impacto? Ou é o que vem depois dessa adoção de gestão e de nova prática pedagógica? O impacto é a mudança de fato na vida das pessoas, no bem-estar pessoal e coletivo. É a efetividade social”, ressaltou.

A partir dos questionamentos dos presentes no encontro, as professoras ressaltaram ainda a importância dos programas se planejarem e definirem quais resultados querem atingir a curto, a médio e a longo prazo, pois isso será fundamental, a fim de que a avaliação possa captar os vários impactos que serão promovidos pelas iniciativas ao longo nos diferentes momentos no caminho.

“Na avaliação de escolas de tempo integral que fizemos, por exemplo, o primeiro efeito que apareceu foi de diminuição do desempenho dos alunos. Alguém poderia dizer então que o programa é ruim e deve ser terminado. Mas o que causou isso foi a diminuição a evasão e, em consequência, se reteve mais alunos na escola, com menor desempenho. Ou seja, esse é um primeiro impacto. Porém, em médio prazo, espera-se que melhore o impacto’, explicou a professora da UFMG. “Assim, é preciso olhar com cautela para a análise dos resultados imediatos. Por isso as descontinuidades são tão graves” completou.

Sobre questões metodológicas da avaliação, Ana Hermeto orientou os presentes a apostarem em avaliações mais qualitativas para iniciativas concentradas geograficamente e que sejam menores. Lembrou também que esse tipo de avaliação é extremamente importante, pois ela ajuda a entender e a interpretar, inclusive, os processos intermediários quando os resultados são quantitativos.

Outro aspecto que pode ser considerado durante um processo avaliativo, ponderou a especialista, é utilizar o chamado “efeito dose”, a fim de conseguir avaliar diferentes intensidades de implementação daquele projeto. “Na avaliação do Programa Bolsa Família, por exemplo, passamos a avaliar não se era bom para aquela família ter ou não ter o benefício, mas sim, a partir de que ponto começava a fazer a diferença na vida das pessoas aquele benefício. Isso é interessante principalmente quando não é possível estabelecer um grupo controle para se comparar com o grupo de tratamento”, exemplificou a pesquisadora do Cedeplar.

Opinião do gestor

Durante o terceiro encontro do Ciclo, assim como ocorreu nas atividades anteriores, a proposta foi trazer aos participantes diferentes visões dos envolvidos nos processos avaliativos – gestores, implementadores, avaliadores etc.

Neste dia, Monica Pinto, gerente de Desenvolvimento Institucional da Fundação Roberto Marinho, compartilhou, enquanto gestora, suas percepções e desafios em relação à avaliação dos programas sociais. Em sua opinião, os investidores privados precisam estar preparados para lidar com as surpresas que um processo avaliativo irá trazer, tendo em vista que se trata de algo complexo, intenso, e que demanda uma alta capacidade de diálogo e negociação, ou seja, competência para lidar com imprevistos.

Monica acredita que os gestores precisam manter o foco da avaliação, para que seja de fato analisado o que é relevante, algo que não é fácil, tendo em vista as intencionalidades diferentes dos vários atores envolvidos. Para afinar estas diferentes lentes, a gerente da FRM ponderou a necessidade de se ter um cardápio de metodologias disponíveis e que seja feita a validação das abordagens e instrumentos que serão utilizados na avaliação sempre em parceria com o gestor direto dos projetos que serão avaliados.

Além disso, é preciso ter em mente que, mesmo diante da complexidade que é avaliar um programa social, é preciso manter o equilíbrio entre o desejável e o possível de se fazer. “Sabemos que o céu não é o limite, pois temos prazos, recursos e responsabilidades. O dinheiro de avaliação tem que ser muito bem gasto, porque o objetivo dele é social. A avaliação deve produzir conhecimentos sobre a qualidade, execução e valor do projeto. Isso é o essencial. Manter esse gongo é complexo, mas é fundamental”, ressaltou.

Entre as lições aprendidas pela Fundação Roberto Marinho nestes anos de promoção de processos avaliativos, estão questões como a importância de se aprimorar as equipes para saber ouvir os diferentes atores e a atenção ao inesperado que pode surgir de uma avaliação, além de levar em conta o impacto que a própria avaliação pode ter nos tomadores de decisão, nas comunidades etc.

Para a gestora da FRM, os investidores sociais têm, inclusive, um importante papel de atuar em conjunto com as organizações da sociedade civil, ajudando-as a também aprimorarem seus processos avaliativos, desenvolvendo essa competência em seus gestores, e não apenas cobrar que apresente uma avaliação de impacto de uma iniciativa apoiada.

Continuidade do Ciclo

E o que se deve fazer depois da avaliação ter sido realizada? Monica Pinto trouxe algumas dicas iniciais, como a importância de se investir na comunicação dessa avaliação, criando relatórios periódicos, consistentes e palatáveis, escolhendo diferentes formatos e linguagens para atingir todos os públicos que precisam e devem ter acesso aos resultados da avaliação.

Outras ideias, porém, serão aprofundadas no próximo encontro do Ciclo, que irá abordar justamente a última etapa, o depois. A atividade será realizada no dia 05 de julho, também em São Paulo.

Rosi Pedrosa Martins, supervisora de investimento social da B3 – antiga BM&FBovespa – tem acompanhado os encontros do Ciclo desde o início e conta que estes têm sido momentos de muitos aprendizados, essenciais para enriquecer o seu trabalho na ponta.

“Esse modelo que o Ciclo tem apostado em intensas trocas entre os participantes com trabalhos em grupos, em que temos a oportunidade de nos identificarmos, e tem sido ótimo. É uma oportunidade para rediscutirmos várias questões sobre esse tema tão importante que é a avaliação”, completa Beth Callia, coordenadora geral do Formare, programa da Fundação Iochpe.

Materiais

Para retomar o que foi abordado nos outros encontros, acesse as matérias:
1º encontro – ANTES (nov/16)
2º encontro – DURANTE (fev/17)

Vale a pena também conhecer o documento “Avaliação para o investimento social privado – criar condições antes de avaliar“.