Não há mais dúvidas de que a avaliação é fundamental para fortalecer, cada vez mais, as ações do campo do investimento social privado, seja para verificar o impacto das iniciativas ou para trazer subsídios para realinhamentos e aprimoramento das práticas desenvolvidas. Mas, afinal, o que de fato é essencial ser avaliado? Quando avaliar? Quais são as melhores estratégias para isso? O que fazer com os resultados dessa avaliação?

Para ajudar a responder a essas questões e fomentar ainda mais a cultura da avaliação na área, o GIFE, a Fundação Itaú Social e a Fundação Roberto Marinho se unem mais uma vez em torno do tema e dão início ao “Ciclo de Encontros de Avaliação 2016-2017”. Nos últimos quatro anos as organizações já haviam promovido seminários internacionais e eventos sobre o tema. Agora, estabelecem um novo formato para aprofundar ainda mais as discussões. Serão realizados três encontros com diferentes enfoques: o antes, o durante e o depois da avaliação.

“A iniciativa do ‘ciclo’ vai muito ao encontro do que os participantes das outras edições dos seminários disseram da necessidade de criarmos espaços de aprendizado e aprofundamento sobre o conhecimento da área de avaliação. Só vamos conseguir isso estudando muito e trocando experiências. Os seminários geraram esse movimento de aprendizado, mas vimos a necessidade de lançar mão de novas estratégicas para conhecer de perto nossas práticas”, comenta Mônica Pinto, gerente de Desenvolvimento Institucional da Fundação Roberto Marinho.

A primeira atividade do Ciclo de Encontros foi promovida no dia 17 de novembro, em São Paulo. Ela buscou discutir os desafios, os conceitos e as soluções da primeira fase do processo avaliativo de programas e projetos de ISP, ou seja, o chamado “antes”, o planejamento.

O encontro trouxe para a roda de conversa quatro olhares distintos sobre o tema, a fim de agregar diversas percepções sobre essa etapa da avaliação: Cloves Carvalho, diretor-presidente do Instituto Votorantim (fala do ponto de vista do ‘Gestor de Investimento Social’); Mirela Carvalho, gerente de Gestão do Conhecimento do Instituto Unibanco (fala do ponto de vista do ‘Avaliador Interno’); Márcia Florêncio, gerente de Educação do Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável – CIEDS (fala do ponto de vista do ‘Parceiro de Implementação’); Simone Coelho, diretora presidente do IDECA (fala do ponto de vista do ‘Avaliador externo’).

A partir dos olhares distintos, os participantes puderam conhecer as demandas, responsabilidades e perspectivas que cada ator precisa cuidar no processo avaliativo. Segundo os especialistas, um ponto primordial nesta etapa inicial é os gestores conseguirem fazer boas perguntas de avaliação, ou seja, precisam entender o que querem de fato saber do projeto, daquela determinada ação do ponto de vista de resultados, sem transferir essa responsabilidade para o avaliador. Caberá depois, ao avaliador, buscar as melhores formas e procedimentos para trazer as respostas.

Saber quais projetos já tem uma maturidade para serem avaliados e o momento correto de avaliar também são pontos importantes, sendo necessário olhar sempre a avaliação como algo estratégico para a organização. Segundo Márcia Florêncio, do CIEDS, é necessário o envolvimento dos vários parceiros num desenho de uma avaliação – o investidor, os gestores locais, os parceiros implementadores etc- para garantir uma avaliação de fato significativa.

A gerente do Instituto Unibanco, por exemplo, apresentou de que forma a organização tem encarado este desafio, apontando que os princípios do IU neste campo são: valorizar igualmente o conhecimento prático e científico; estudar a implementação para capturar conhecimento prático dos gestores; formular com clareza perguntas para os avaliadores; e organizar as perguntas e reunir diferentes epistemologias e métodos.

Já Simone Coelho, do IDECA, destacou a importância da construção avaliativa ser mais participativa e de entender que o processo avaliativo é pedagógico e, portanto, merece discussões constantes. A especialista ressaltou que é necessário um grande alinhamento entre o avaliador e o investidor, para que o desenho de avaliação de fato atenda às necessidades. A partir do ponto de vista do avaliador externo, segundo Simone, ajuda muito quando a instituição já possui um processo de avaliação interna. Dessa forma é possível focar melhor a pesquisa e encontrar dados mais sistematizados. Assim, a avaliação externa pode auxiliar na construção do Sistema de Monitoramento a ser implantado e executado pela avaliação interna.

Mitos e verdades

Durante o encontro, após o painel inicial, Daniel Brandão, diretor executivo da consultoria MOVE, debateu com os presentes os mitos sobre avaliação. O especialista trouxe para a roda de conversa cinco mitos: 1. Preciso avaliar tudo; 2. A avaliação vai resolver todos os problemas; 3. Não tenho indicadores, não posso avaliar; 4. Não tenho linha de base, não posso avaliar; 5. Quase-experimental e experimental é a única abordagem válida para tratar a causalidade.

Daniel destacou também algumas decisões fundamentais que precisam ser tomadas pela gestão para criar as condições adequadas que permitem consolidar o desenho qualificado da avaliação. Entre as questões estão: o gestor ter clareza sobre o programa; compreender o papel estratégico da avaliação e o seu uso para o andamento das ações; compreender e ouvir os principais stakeholders, suas demandas e formas de envolvimento; estabelecer de fato quais são os recursos financeiros e tempo disponíveis e o melhor momento de promover a avaliação no ano.

A partir daí, caberá ao avaliador apresentar as respostas mais precisas com os recursos existentes, sempre em diálogo com o gestor. “O gestor tem que focar no ‘que’ e não no ‘como’”, ressaltou.

Patrícia Lacerda, gerente de Educação do Instituto C&A, também ressaltou em sua fala de que, antes da avaliação, a organização precisa sempre considerar o propósito da intervenção, seu nível de complexidade, e os diferentes momentos da intervenção (desenho, durante e pós). E, nesta etapa inicial – do antes –, é preciso se ater a quatro pontos fundamentais. O primeiro seria analisar a demanda pela avaliação. Nesse sentido, algumas perguntas são importantes de serem respondidas: quais são os interesses envolvidos na avaliação? Quem demanda? Quem paga? Quem produz? Quem estará envolvido nas decisões?

O segundo diz respeito ao envolvimento dos diferentes atores que serão impactados pela avaliação. “A avaliação é útil se for realmente apropriada pelos diferentes stakeholders gerando aprendizagem. Por isso, é preciso sempre ter devolutivas e repactuações”, destacou Patrícia.

Já o terceiro ponto está ligado à necessidade de aprimorar e alinhar as perguntas da avaliação: Que perguntas irão nos guiar? Elas são compartilhadas entre os vários atores? Elas são possíveis de serem respondidas nos tempos/recursos disponíveis? E, por fim, o último aspecto, que é identificar a melhor abordagem metodológica.

De acordo com os especialistas, não há um único método ou o melhor a ser utilizado, tudo irá depender do que se quer avaliar e o que se busca saber ao final. A Fundação Itaú Social, por exemplo, tem apostado em diferentes metodologias para responder a perspectivas diversas e uma combinação de métodos para poder ter um olhar mais completo sobre as ações.

Próximos passos

A segunda atividade do Ciclo de Encontros de Avaliação já está programada para fevereiro de 2017. Em breve, mais informações serão divulgadas.

Confira alguns materiais sobre o tema:

A relevância da avaliação para o investimento social privado

Avaliação o investimento social privado: metodologias

Avaliação do investimento social privado: estratégia organizacional