Quais são as tendências em avaliação de impacto para os investidores sociais? Que processos precisam ser desenvolvidos internamente para avançar nestas práticas e garantir a efetividade do ISP? Como superar os desafios e aprimorar os processos avaliativos? Essas foram as reflexões que permearam o primeiro Café Social, iniciativa fomentada pela Rede de Investidores Sociais (RIS) do Distrito Federal. O encontro, realizado no dia 22 de junho, em Brasília, reuniu mais de 30 profissionais de instituições associadas ao GIFE e outras organizações da sociedade civil da região.

Fábio Deboni, gerente executivo do Instituto Sabin e um dos coordenadores da RIS, destaca que o Café Social é a primeira ação colaborativa da rede e, portanto, marca uma nova etapa da RIS-DF, formada em março de 2015, num esforço prático de estabelecer uma iniciativa conjunta do grupo. Até o momento, a RIS teve como foco principal possibilitar a aproximação das organizações e a troca de experiências, algo que tem sido muito valorizado pelos investidores do Distrito Federal. Ao todo, já foram promovidos 12 encontros na cidade de Brasília.

O tema do primeiro Café Social surgiu da identificação de uma demanda das próprias organizações da região. “Todo mundo sabe da importância da avaliação, mas percebemos que não existia muito espaço na agenda para conversar a respeito. O encontro foi uma oportunidade para criar um ambiente focado no tema e nos conectarmos com as discussões que o GIFE vem fazendo em relação ao assunto”, destaca Fábio.

Para trazer este panorama, inclusive, Erika Sanchez Saez, coordenadora de Articulação do GIFE, participou do encontro e apresentou algumas reflexões a respeito, a partir de uma análise do Censo GIFE e do Ciclo de Encontros de Avaliação 2016/2017 que a organização tem promovido. Erika lembrou que a avaliação é uma das oito agendas agenda estratégicas do GIFE, que tem ganhado cada vez mais força, devido a sua relevância para o campo do Investimento Social Privado.

“Queremos disseminar e levar essas conversas e reflexões que têm ocorrido em São Paulo para outros territórios. E o espaço da RIS é muito oportuno para tal”, destacou a coordenadora.

Erika enfatizou que a avaliação já é uma tendência no setor – dados do último Censo GIFE mostram que só 1% dos associados respondentes não faz avaliação para nenhum de seus programas – e que há vários tipos de atividades neste campo, como monitoramento ao longo do programa, avaliação de resultados, marco zero/linha base, marco de resultado/teoria de mudança/matriz de indicadores e avaliação de impacto.

O Censo mostrou ainda que os objetivos da realização das avaliações estão relacionados principalmente a processos de aprendizagem e tomada de decisão: 83% realiza avaliação e monitoramento sempre com o intuito de revisar ou aprimorar o projeto ou programa; 75% aprender e decidir sobre aspectos de implementação e execução; e 73% manutenção ou revisão das estratégias da organização.

Outro aspecto observado foi em relação aos critérios para escolha dos projetos que serão avaliados: 75% dos respondentes do Censo disseram que sempre levam em conta o aspecto de volume de recursos alocados. Há ainda outros critérios, como etapa do ciclo de vida do projeto (71%); compromisso de prestar contas à sociedade (67%); incerteza com relação aos resultados do programa (51%); demanda do conselho ou mantenedores (39%); e exigência de parceiros (21%).

A coordenadora do GIFE compartilhou também com os presentes do Café Social algumas questões discutidas durante as atividades do Ciclo de Encontros de Avaliação 2016/2017, relacionadas ao antes, durante e o depois da avaliação. No encontro do “antes”, por exemplo, as discussões levantaram pontos como a necessidade, cada vez mais, de desenvolver e aprimorar a cultura de avaliação dentro da organização, sendo um aspecto primordial deste início de processo a definição clara da finalidade da avaliação e das perguntas orientadoras da mesma. Envolver os diferentes atores e ouvi-los (beneficiários, conselhos, gestores, poder público etc.) também é fundamental, a fim de garantir uma diversidade de olhares (veja matéria completa sobre este encontro).

Já em relação ao “durante”, levantaram-se aspectos como o fato de que não há um método único e melhor de avaliação, mas sim diferentes métodos que  podem ser acessados e combinados dependendo do perfil da organização, do projeto e do objetivo a que se pretende a avaliação (acesse aqui matéria a respeito). O encontro do “depois” será realizado no próximo dia 05 de julho, e irá discutir como transformar as avaliações em dispositivos de aprendizagem, governança e mudança e também maneiras de utilizar as avaliações para comunicação, mobilização, transparência e advocacy.

Conceitos: o desafio da definição

“A avaliação é uma análise, a mais sistemática e imparcial possível, sobre os resultados esperados e alcançados, examinando a cadeia de resultados, os processos, os fatores contextuais e a causalidade, a fim de entender os alcances ou a ausência deles. Seu objetivo é determinar a relevância, o impacto, a eficácia, a eficiência e a sustentabilidade das intervenções” (UNEG, 2005 – Normas de avaliação do Sistema das Nações Unidas).

Foi a partir da apresentação deste conceito que Marcia Joppert, especialista na área de monitoramento e avaliação, iniciou a sua fala durante o Café Social. A proposta foi incentivar os participantes a refletirem sobre o que é uma avaliação, seus objetivos, propósitos e etapas. Para isso, partiu de um ‘Mosaico da Avaliação’, que engloba os seguintes itens: O Que? (Objeto); Para que? (Propósito); Para quem? (Propriedade); Executada por quem? (Execução); Com que critérios? (Critérios); Quando avaliar? (Momento); Como coletar dados e informações? (Abordagens); Que atores serão envolvidos? (Participação); Como usar os resultados? (Uso); Para quem e como divulgar? (Disseminação).

Em seguida, detalhou cada um dos aspectos, apresentando uma gama de informações que precisam ser exploradas e detalhadas. No caso do propósito da avaliação, por exemplo, é importante que a organização indague: Essa avaliação é para prestação de contas? Auditoria? Legitimação? Transparência? Empoderamento? Aprimoramento de uma iniciativa? Estudar fenômenos sociais?

Já no que diz respeito à execução, a consultora enfatizou que, em projetos sociais, o ideal é incluir, tanto quanto possível, toda gama de sujeitos envolvidos com o processo de concepção e implementação. Ou seja, os vários olhares, várias disciplinas, vários interesses devem ser contemplados no processo. E questionou: “O quanto os processos avaliativos do ISP no Brasil têm considerado a inclusão dos vários sujeitos?”.

A consultoria destacou ainda os critérios que devem ser levados em conta. Eles passam pelos básicos, como relevância, eficácia, eficiência, impacto e sustentabilidade, e os transversais, como desenvolvimento de capacidades; gênero, direitos humanos e minorias; gestão da iniciativa; e apropriação.

“Historicamente ausentes nos processos avaliativos do Investimento Social Privado brasileiro, os aspectos econômicos têm galgado degraus importantes nos julgamentos de relevância e mérito, o que diz respeito à avaliação econômica de projetos sociais”, completou.

Segundo Marcia, os métodos de coleta de dados e informações podem ser os mais diversos, como pesquisa bibliográfica, estudo de indicadores (quantitativo), métodos quantitativos (experimentos), métodos qualitativos (estudos de caso, entrevistas, grupos focais, observação social) e métodos mistos. Estes, inclusive, são indicados para avaliação de projetos sociais, pois combinam as análises contrafactuais com análises factuais usando dados quantitativos e qualitativos para analisar a cadeia de valor. “A análise factual vai endereçar aspectos como a qualidade da implementação, planejamento, foco, estratégia, obstáculos para participação ou direcionamentos”, explicou.

Explorando a avaliação de impacto

Mas, afinal, o que é a avaliação de impacto? Por que realizá-la? Qual sua relevância? Estes questionamentos também surgiram ao longo do Café Social e, para trazer possíveis caminhos para estas perguntas, Miguel Fontes, proprietário da consultoria JohnSnowBrasil, apresentou aos participantes algumas contribuições a respeito.

Segundo Miguel, o ponto de partida é sair da visão de “social como gasto” para “social como investimento”. Para mudar este paradigma, ele aposta em estudos científicos que, cada vez mais, comprovem a relação direta entre investimento socioambiental e retornos econômicos. Neste sentido, inclusive, há vários exemplos sendo desenvolvidos, como a avaliação do impacto das ações de capacitação da Agência Nacional de Águas entre 2001 e 2013 (financiado pelo Banco Mundial); avaliação dos 30 projetos do Criança Esperança em 2016 (financiado pela UNESCO); avaliação do impacto das competências linguísticas básicas na produtividade da indústria têxtil do Piauí (financiado pelo Conselho Nacional do SESI); avaliação do impacto e Custo-Benefício dos Programas de promoção a exportação do Brasil (financiado pela APEX), entre outros.

“O que precisa ficar claro, antes de mais nada, é que, quando falamos em investir socialmente, isso está atrelado ao conceito de retorno. Assim, se estou falando de investimento e retorno, o que queremos inferir é o impacto, como estou influenciando com o recurso que vem da fundação ou do instituto ou da empresa na melhoria da qualidade de vida, diminuição de desperdício, equidade de gênero, IDH (Índice de Desenvolvimento Humano) etc. Porém, muito do que observamos não tem sido avaliação de impacto, mas de resultado, processo ou de desempenho. A avaliação de impacto, reforço novamente, está ligada a questão de investimento. Ou seja, pelo meu investimento, a sociedade tem retorno”, enfatizou.

O especialista ressaltou ainda que, neste sentido, é preciso tomar cuidado em olhar o impacto como causa – exemplo: a criança é feliz por causa do pai -, pois isso é muito difícil de aferir. Sendo assim, Miguel traz o conceito de avaliação de impacto explanatória, ou seja, não é uma avaliação de impacto causal, porque, em sua análise, isso só é possível de acontecer no laboratório, mas é uma avaliação que explica o ocorrido.

“Assim, não é que o ISP é causa da mudança, mas tem que dizer se explica ou não explica uma mudança que estava se propondo a fazer. Por exemplo, eu me propus a promover mais igualdade de gênero. O meu ISP promoveu isso ou não? Ou, eu me propus a gerar mais renda para mulheres. O ISP ajudou uma geração de renda?”, explicou.

Miguel trouxe como exemplo sobre o investimento social e o impacto econômico uma pesquisa que ajudou a realizar a respeito do programa Cozinha Brasil, do Sesi, que percorre várias comunidades do país, transformando um trailer numa verdadeira cozinha, na qual são realizadas atividades e formações sobre como preparar e ter uma alimentação mais saudável, tanto nos hábitos alimentares como no uso dos alimentos, evitando desperdício. O estudo mostrou que, a cada novo comportamento saudável, aquela família reduziu em 3% o desperdício de alimentos, e isso teve um impacto de redução de 5% no orçamento familiar. Cada real investido conseguiu trazer um retorno de riqueza econômica para aquela comunidade de mais de R$8,00.

“A avaliação é ciência e, por isso, é feita de critérios e protocolos. É muito importante estar sempre unida a um processo científico e sólido, para que não caia nas impressões, mas consiga de fato provar o impacto e o retorno”, ponderou o consultor.

Reflexões e próximos passos

Fábio Deboni destaca que todas as discussões fomentadas durante o Café Social foram essenciais para novas reflexões dos participantes, que avaliaram muito positivamente o formato e a proposta do encontro.

Patrícia Lustosa Borges de Lima Vieira, gerente de Divisão de Monitoramento e Avaliação, da Fundação Banco do Brasil, por exemplo, participou pela primeira vez da RIS-DF e, mesmo atuando diariamente com o tema da avaliação em sua organização – a gerência existe desde 2009 –, destacou que novos conhecimentos e aprendizados surgiram e que serão aplicados no seu trabalho.

“Acredito que o tema cresceu muito e as pessoas perceberam a relevância, mas ainda vêm a avaliação como custo e não um investimento importante a ser feito para identificar acertos e erros. Para mim, durante a conversa, que foi muito rica, consegui levantar pontos que eu nunca tinha pensado antes. Isso é muito relevante para oxigenar o nosso trabalho. Estou ansiosa já para o próximo encontro”.