Com a proposta de fortalecer e aprimorar as práticas de avaliação no campo do Investimento Social Privado (ISP), o GIFE, a Fundação Itaú Social e a Fundação Roberto Marinho se unem mais uma vez em torno do tema no 2º Encontro do Ciclo de Avaliação, promovido no dia 21 de fevereiro, em São Paulo. A atividade dá continuidade a discussões sobre os desafios, conceitos e soluções das principais fases do processo avaliativo de programas e projetos de ISP: antes, durante e depois.

“A avaliação tem o potencial de qualificação muito forte do trabalho dos investidores. Além disso, essa constante busca pelo aprimoramento das práticas, com um olhar muito mais criterioso sobre sua atuação, é um indicador bastante forte da maturidade das iniciativas do ISP e aponta para uma postura e olhar bastante relevante do investimento social no Brasil, principalmente porque se conecta também com a agenda da transparência”, enfatizou Andre Degenszajn, secretário-geral do GIFE.

O primeiro encontro do Ciclo, realizado em novembro de 2016 (clique aqui para ler a matéria completa), abordou o ‘antes’ da avaliação e trouxe a perspectiva de diferentes profissionais envolvidos nos processos de monitoramento e avaliação: gestores, avaliadores e implementadores. Na ocasião, os presentes destacaram os quatro principais elementos a serem considerados nesta etapa da avaliação: a importância de se criar uma cultura de avaliação; definir claramente a finalidade da avaliação (geração de evidências, aprendizagem, melhoria da prática etc); elaborar boas perguntas avaliativas que possam orientar adequadamente o trabalho; e engajar e envolver os diversos stakeholders no processo.

São estes quatro elementos que irão indicar e ajudar a definir quais os caminhos metodológicos mais adequados dadas as condições iniciais colocadas. E, foi justamente este o foco do segundo encontro, que abordou o ‘durante’ da avaliação. A atividade teve como objetivo destacar as especificidades de diferentes abordagens metodológicas frequentemente adotadas nas avaliações como parte do processo avaliativo de iniciativas do investimento social privado.

Daniel Santos, professor de economia da Universidade de São Paulo (USP) de Ribeirão Preto e coordenador do Laboratório de Estudos e Pesquisa em Economia Social (LEPES), abriu o encontro discutindo as vantagens e limitações da avaliação de impacto. Para ele, entre os principais benefícios deste tipo de avaliação está ajudar a orientar a alocação dos recursos escassos da economia.

Porém, segundo o especialista, é preciso ter em mente que a avaliação de impacto não se propõe a medir se um determinado programa é bom ou ruim, mas sim medir a mudança na vida das pessoas/o efeito de uma ação para além do que teria ocorrido na ausência do programa.

“O pano de fundo de uma avaliação de impacto é o seguinte: eu sei que uma intervenção foi feita, eu conheço parte da realidade, sei como as pessoas estão hoje. Para medir, preciso reconstruir o mundo caso ela não tivesse acontecido. É justamente no contraste do que aconteceu e o que eu acho que teria acontecido, que eu descubro o impacto. Assim, a avaliação de impacto mede os efeitos das oportunidades de receber uma intervenção, não o efeito puro da intervenção”, comentou.

O professor trouxe um exemplo para ilustrar essa colocação: foi implementado um programa de coaching a um grupo aleatoriamente escolhido de professores de Barueri. Dos selecionados, 50% frequentaram o programa e não foi encontrado impacto comparando as escolas que o receberam e as que não receberam. Será que eu consigo concretamente dizer se o programa funciona ou não?

“Não necessariamente, porque não foram todos os professores que participaram, mas parte deles. Em políticas sociais, o que medimos, portanto, é o efeito da oportunidade que as pessoas tiveram de se beneficiar de alguma coisa, na maneira e nas condições em que foi implementada. O impacto medido é relativo ao ponto de partida. Na medicina, por exemplo, é diferente, porque se eu coloco um grupo para tomar determinado remédio e outro para tomar uma pílula de farinha e observo os dois, eu tenho certeza que todo mundo tomou a pílula e aí consigo medir o efeito de tomar ou não”, explicou, destacando que, portanto, há uma dificuldade de transpor a conclusão de uma avaliação para outros contextos.

Outra limitação na avaliação de impacto, segundo Daniel, é que, sozinha, dificilmente ela consegue descobrir e isolar qual foi o mecanismo, entre os vários implementados, pelo qual uma determinada intervenção gerou o impacto. Assim, ela universaliza o olhar e não traz pistas do que foi bom, do que não está dando certo, do que gerou mais envolvimento e o que não teve efeito etc.

Desta forma, para ser possível desenvolver um olhar mais específico, é preciso agregar outras metodologias de avaliação, tendo uma abordagem integrada. A avaliação de processo, por exemplo, é especialmente útil para informar sobre dosagem, quais foram os aspectos positivos e negativos, como melhorar determinada ação, como integrar a intervenção com outras políticas em curso. As várias metodologias podem ser combinadas de diversas maneiras, dependendo do que se quer observar e o objetivo da avaliação. Não há uma regra.

Antes da avaliação de impacto pode ser realizada, por exemplo, uma avaliação qualitativa com grupos focais para testar instrumentos e verificar a percepção dos agentes. Ou ao contrário, realizar primeiro a avaliação de impacto e, depois, promover uma avaliação qualitativa para saber o que fez determinada ação ter efeito. Ou quem sabe os dois casos andando juntos.

“Os métodos para investigar vão depender das evidências mais convincentes. Ou seja, para responder determinada pergunta avaliativa vou precisar fazer questionário, já para uma outra terei que observar o comportamento das pessoas ou fazer entrevistas. O que precisa ser verificado também é quais são os recursos e tempo disponíveis, pois isso difere para cada método”, ressaltou Thomaz Chianca, sócio-gerente da COMEA Avaliações Relevantes, destacando que as perguntas avaliativas são essenciais, mas que devem ser bem elaboradas e focadas para se evitar o risco de criar um processo avaliativo tão minucioso e detalhado que pode até perder a relevância.

Para o consultor, quando se pensa num processo avaliativo é preciso ter em mente que estamos diante de algo realmente amplo e complexo. Sendo assim, ele vem acompanhado de diversas perguntas: O que estou fazendo é de fato relevante? Está atendendo uma necessidade? O desenho estabelecido para a intervenção foi adequado? Estou implementado da melhor maneira possível? Estou procurando sinergia com outras iniciativas similares? O que estou fazendo tem possibilidade de sustentabilidade?

“Portanto, não há como simplificar”, ressaltou o especialista. Porém, é possível seguir algumas recomendações que ajudam a orientar o processo e torná-lo mais eficaz. A primeira ação a ser realizada é definir o modelo de impacto: o que estou provocando, dentro do que eu faço, e quais os aspectos de mudança que eu posso observar tendo em vista os investimentos e os conhecimentos da realidade que tenho. Em seguida, elencar os critérios e evidências que serão observados, apontando para um olhar mais quantitativo ou qualitativo, e definir os parâmetros para determinar performance. Neste momento, inclusive, é necessário que a construção seja coletiva, envolvendo todos os públicos impactados.

O próximo passo é escolher os métodos mistos para coletar as informações a fim de se chegar às respostas, que devem ser, necessariamente, diretas e simples. Durante todo o processo é preciso estabelecer um engajamento inteligente dos atores, definindo a validade, a credibilidade e o uso que se fará dos dados obtidos.

Chianca trouxe como exemplo um trabalho avaliativo que acompanhou junto à Heifer Internacional, uma organização americana que atua em 40 países, a fim de superar a fome e pobreza de centenas de famílias. A avaliação foi realizada em 23 países, sendo observados 173 projetos. Neste projeto, o primeiro passo realizado pelo grupo de avaliadores foi reunir as informações e definir as grandes dimensões de impacto que queriam observar (exemplos: necessidades básicas; cuidado com os animais; educação; empoderamento).

A partir dos grandes grupos, foram sendo criados itens e indicadores a serem observados. A coleta de informações agregou vários métodos, como visitas a amostras de projetos; entrevistas com as famílias de participantes e não participantes; grupos focais abertos; entrevistas com lideranças locais; entrevistas com gestores de programa; revisão de documentos; estudo especial para busca por impactos além do programa; e busca sistemática por causas alternativas.

Todos os indicadores foram agregados, e a partir de uma linha base estabelecida – ou seja, qual era a situação daquele grupo antes do programa começar -, foi possível observar o que avançou e ainda o que estava faltando para chegar a uma situação adequada. Tudo foi transformado num único gráfico comparativo, comunicando de uma maneira simples os resultados.

Segundo Chianca, há três aspectos centrais para qualquer organização que queira desenvolver processos avaliativos. “O primeiro é resistir à tentação de falar primeiro e apenas de mensuração. É preciso dar um passo para trás e olhar da maneira mais complexa a avaliação. O segundo é não ter medo de abraçar essa complexidade, mesmo com as limitações de informações e o contexto que se tiver. E, por último, ter em mente que misturar métodos é sempre mais rico e útil”, ponderou.

Avaliação na prática

E quais são os desafios de quem precisa acompanhar estes processos de perto no dia-a-dia? Para compartilhar a sua visão de gestor com os presentes, o segundo encontro do Ciclo contou também com a participação de Eduardo Marino, gerente da área de Conhecimento Aplicado da Fundação Maria Cecília Souto Vidigal (FMCSV).

Ele iniciou a sua apresentação destacando que, antes de mais nada, é preciso lembrar que um gestor espera que a avaliação traga respostas sobre o que aconteceu naquela realidade a partir da intervenção feita, a fim de que possa tomar decisão, aprender e prestar contas. Para isso, será preciso definir qual ou quais modelos serão utilizados.

No caso da FMCSV, há uma gama bastante diversificada de avaliações e a decisão sobre a abordagem é feita a partir de três elementos: o contexto (dependendo do parceiro ou projeto em que está vinculado é preciso seguir determinadas regras); a viabilidade em termos de tempo e recursos disponíveis; e o diálogo com as avaliações políticas.

Hoje a Fundação, que tem como missão gerar e disseminar conhecimento para o desenvolvimento pleno da criança na primeira infância, estabeleceu duas abordagens para a avaliação: a primeira é a ênfase na precisão, com modelos experimentais com grupo controle. Essas são externas e realizadas a partir de evidências. A segunda com ênfase na participação, sendo orientadas para a aprendizagem, realizadas internamente, a partir principalmente da percepção. As duas formas são utilizadas, dependendo da necessidade, para a tomada de decisão de todas as partes interessadas.

Segundo Eduardo Marino, a avaliação está no DNA da Fundação e atualmente, mais do que nunca, essas questões afloram. Isso porque a organização estabeleceu um indicador de que, até 2021, quer ter influenciado o governo brasileiro a estar muito próximo de ter uma medida e uma sistemática de medida do desenvolvimento infantil. Hoje, o que se tem são indicadores de mortalidade infantil e de nutrição, medidas que não dão conta dos desafios colocados pelos Objetivos de Desenvolvimento Sustentável (ODS), que falam do desenvolvimento de qualidade na primeira infância.

“Se não foi fácil chegarmos no país num sistema de avaliação da educação, para o desenvolvimento infantil será mais difícil ainda. Mas precisamos ter essa informação, pois é um direito. Pela Fundação temos atuado em alguns territórios e fazemos avaliação rigorosa com uso de três instrumentos para que possamos chegar a esse tipo de evidência. Participamos também de redes nacionais e internacionais para discutir acordos e medidas viáveis de serem implementadas para este tipo de mensuração”, destacou o gerente.

A Fundação tem feito um esforço também no campo de advocacy para levar essa discussão sobre os indicadores do desenvolvimento infantil a outros espaços decisórios. Para isso, parlamentares e tomadores de decisão são convidados a participar de um curso promovido em parceria com a Universidade de Harvard (EUA) sobre a temática da primeira infância. Uma deputada que participou da formação, por exemplo, montou um grupo parlamentar para avançar sobre esse tema no Congresso.

Outra forma de incidir tem sido no apoio a iniciativas públicas, como a realizada para o Programa Criança Feliz, do Ministério de Desenvolvimento Social. A Fundação decidiu apoiar financeiramente, por meio do PNUD, a realização de uma avaliação de impacto do Programa e a criação de um Comitê Externo para discutir os resultados do programa.

Caminhos futuros

Para os especialistas presentes no encontro, é preciso ainda avançar em alguns aspectos da avaliação, principalmente no compartilhamento das informações – mesmo que os resultados das ações não tenham sido positivos -, e a necessidade de uma maior aproximação entre os investidores sociais e as universidades, conciliando pesquisas a serem realizadas, para que seja possível ter uma visão mais ampla das iniciativas e dos resultados alcançados.

Para Chianca, uma inovação neste campo seria a criação de uma plataforma para que os investidores sociais possam compartilhar suas avaliações, a fim de disseminar os aprendizados dos processos. Já para Eduardo Monteiro, um passo importante a ser dado pelos investidores pode ser no sentido de realizar uma meta-análise de impacto do conjunto de associados do GIFE em determinados temas – como educação, por exemplo – para entender qual é a contribuição de fato do ISP nesta agenda no país. Esses dados poderiam, assim, gerar um subsídio de discussão importante para as estratégias das organizações, apontando caminhos efetivos para suas atuações.

O terceiro encontro do ciclo já está programado para o dia 04 de maio e dará continuidade à discussão sobre o ‘durante’ da avaliação. Em breve, será divulgado no Sinapse uma publicação com os principais aprendizados da atividade. O relatório do primeiro encontro já está disponível aqui.