Avaliação em debate: seminário internacional discute como medir impacto do investimento social privado

Por: GIFE| Notícias| 02/11/2015

A Organização das Nações Unidas (ONU) declarou 2015 como o Ano Internacional da Avaliação. A resolução surgiu como uma oportunidade para dar destaque a um tema tão importante para o campo social. Aproveitando a data – e dando sequência a uma série de atividades temáticas – o GIFE, a Fundação Roberto Marinho e a Fundação Itaú Social realizaram, no dia 28 de outubro, o IV Seminário Internacional Avaliação do Investimento Social Privado.

O evento contou com a parceria da Fundação Maria Cecília Souto Vidigal e da Move e reuniu nomes internacionais como Lee Risby, responsável pela área de avaliação e comunicação da C&A Foundation, e Thomas David, consultor norte-americano em estratégia e avaliação. Acompanhados de gestores e especialistas brasileiros, eles falaram sobre como trabalhar de forma inteligente com dois grandes desafios quando o assunto é avaliação: o orçamento do trabalho e a relação entre gestores e equipes com o time de avaliadores.

Lee Risby chamou a atenção para o que de fato move o terceiro setor: a desigualdade social e os possíveis caminhos para minimizar os impactos que essa condição impõe às sociedades. Para ele, vivemos uma constante sensação de fracasso, especialmente nos países pobres e em desenvolvimento, em relação à redução das injustiças sociais.

Considerando o cenário brasileiro, o especialista chama atenção para os recentes protestos pós-junho de 2013 e o protagonismo do país na promoção dos Objetivos de Desenvolvimento Sustentável (ODS). “Nesse contexto, precisamos ter impacto e medir o progresso. É um grande desafio que cabe a todos nós – governos, setor privado e sociedade civil”, disse.

E como a avaliação se insere nesse contexto? É por meio dela que vamos mensurar resultados, promover o aprendizado e influenciar novas decisões. Contudo, no caso do Brasil, ainda é urgente a construção de uma cultura de avaliação, que induza processos contínuos e perenes, envolvendo os ambientes interno e externo das organizações.

Planejamento da avaliação e reflexões sobre orçamento

Thomas David explicou que o exercício de pensar o orçamento de qualquer processo avaliativo é um grande desafio para gestores. O consultor ressaltou que essas questões podem – e devem – ser levadas a tomadores de decisão do alto escalão da organização, como acionistas, conselheiros e diretoria.

“Com relação ao orçamento, minha experiência diz que podemos conseguir muito, mesmo com recursos limitados”, explicou. A chave do enigma está em definir perguntas avaliativas claras e construir um processo participativo de planejamento e gestão do trabalho de avaliação. Como parâmetro, David disse que a média de orçamento varia entre 1 e 8% do montante total investido num programa ou projeto. Contudo, ele lembrou que não existe uma regra, uma fórmula ou um formato típico de orçamento. “Tudo vai depender do contexto”, ressaltou.

Lee Risby complementou dizendo que a qualidade do trabalho vai se desenhar a partir da complexidade e aprofundamento das questões avaliativas. Para ele, a questão central é: o que nós queremos saber? O tamanho do impacto que deseja medir e a profundidade do aprendizado a ser gerado são outras variáveis que vão influenciar no orçamento.

O executivo da C&A Foundation explicou que o exercício de planejar a avaliação no caso de sua organização é bastante particular, tendo em vista que a companhia trabalha com várias linhas de negócios e diversos programas e, cada uma delas, exige um orçamento específico para avaliação. “Esse é o nosso caso. É apenas uma ideia de como trabalhar, uma possibilidade. Mas, tudo vai depender do seu contexto.”

Por fim, os especialistas ressaltaram outras variáveis que vão contar na definição do orçamento: método adotado, hipóteses, escopo do projeto, tamanho do time de especialistas e prazos de trabalho. “Você precisa combinar todos esses fatores e fazer escolhas. Como diz a canção dos Rolling Stones, ‘you can’t always get what you want’ (‘você não pode ter sempre o que quer’, em tradução livre)”, explicou Lee Risby.

Rafael Gioielli, gerente do Instituto Votorantim, contou como os processos de avaliação mudaram, inclusive a forma da organização planejar e executar programas e projetos. “Na nossa experiência, fomos fazendo escolhas e uma coisa que aprendemos é que a gente planejava mal os projetos e isso dificultava a avaliação. A avaliação nos ajudou a alinhar objetivos, a entender se os diversos agentes envolvidos estavam na mesma página e se sabíamos o que queríamos com determinado investimento”, disse.

Métodos de avaliação e contexto organizacional

As discussões sobre quais métodos adotar para cada tipo de avaliação são constantes. E a saída não precisa ser unilateral. A depender do contexto, algumas soluções podem ser combinadas. “Tudo é direcionado pela pergunta feita e pelo contexto do investimento”, apontou Thomas David.

Para Lee Risby, uma boa estratégia é integrar avaliação em todo o processo de desenvolvimento e implantação de um programa ou projeto. “Na Fundação C&A já estamos tratando algumas iniciativas com avaliação em tempo real, integrando questões de controle e da própria avaliação. É uma abordagem fantástica, mas existe um custo alto para isso”.

Saber onde investir em avaliação, dentre os diversos esforços do investimento social de determinada organização, também é um dilema. Mas, nem tudo precisa, obrigatoriamente, ser avaliado. Novamente vale a ponderação: quais são as demandas do conselho, dos acionistas e as necessidades de aprendizado que determinado esforço exige.

Mirela Carvalho, gerente de Gestão do Conhecimento do Instituto Unibanco, comentou a respeito da combinação de tecnologias. “Se for possível combinar modelos quali e qualitativo, triangular métodos e refinar a percepção sobre o programa todos ganham. É preciso considerar isso desde a implantação até a fase final”.

A gestora explicou que os métodos precisam estar organizados em uma estrutura para responder determinadas perguntas construídas entre gestores e avaliadores. Rafael Gioielli concordou e disse que os apontamentos desse trabalho ajudam o gestor a calibrar sua atividade e a orientar decisões gerenciais.

O gerente do Instituto Votorantim também chamou à atenção para as fontes de informação. “No Instituto, temos trabalhado muito com dados secundários, especialmente aqueles ligados à politicas públicas, como o IDEB (Índice de Desenvolvimento da Educação Básica), por exemplo. Além de baratear custos de avaliação, eles são excelentes argumentos para apresentar o impacto para investidores, para conselheiros”.

Gestão de conflitos

De acordo com Thomas David, a definição de equipes para a execução de um processo de avaliação varia muito de acordo com a realidade de cada organização. Algumas recrutam pessoal interno, outras optam pela contratação de uma consultoria externa. Tudo vai depender do tipo de processo a ser estabelecido e dos recursos disponíveis. “Contudo, pelo que tenho visto no setor, sempre recomendo ter, ao menos, um parceiro externo que ajude a pensar nas questões”.

E é justamente nessa hora que muitos conflitos emergem. “Frequentemente me deparo com casos nos quais os gestores dizem que as equipes não têm competência para conduzir programas e projetos, e estas, por sua vez, dizem que os gestores são impenetráveis. Nesse caso, o profissional de avaliação acaba sendo a ponte de comunicação entre estes dois lados”, disse.

Para Lee Risby, a avaliação é  parte fundamental da negociação de conflitos e o bom andamento desse processo depende muito de uma escuta atenta. Por isso, os profissionais da área devem ser pluralistas, competentes em se adaptar a diferentes cenários e atentos às sutilizas da cultura organizacional.

Quando a opção é contratar uma equipe especializada externa, a recomendação é estudar muito as competências de negociação e comunicação do fornecedor. “Muitas vezes o especialista atende a todos os critérios da seleção, mas, acima de tudo, é fundamental que exista um bom diálogo e empatia entre as partes”, explicou Thomas David.

Outra questão de conflito apontada é a interferência dos gestores no processo de avaliação. Nesse caso, o consultor norte-americano recomenda que é preciso achar uma ponto de diálogo e promover o envolvimento dos profissionais do programa ou projeto. “Comunição constante é fundamental para evitar mal-entendidos e reduzir interferências da equipe na qualidade da avaliação”.

Rafael Gioielli lembrou que é comum haver algum tipo de tensão entre avaliador e gestor. “É um processo natural de tensão. No fim, é a decisão do gestor que está em jogo. Por isso, é preciso estabelecer um entendimento entre o objetivo da avaliação e a compreensão entre quem vai avaliar. Nesse sentido, reforço a importância de ser preciso nas questões avaliativas. Estressar ao máximo o entendimento dessas questões”.

 Cultura de avaliação e aprendizagem

Dados todos os desafios, conflitos e aprendizados relacionados ao processo de avaliação, fica a lição do quanto é importante criarmos uma cultura de avaliação no setor social brasileiro.

“Acho que a avaliação de impacto é um passo que qualifica um estilo de gestão de projetos voltada para resultados. Trata-se da tentativa de isolar o caso e ver se o impacto é realmente do programa. É um recurso para melhorarmos nossa gestão para resultados. Para além do accountability para financiadores e parceiros, é uma estratégia formativa para os gestores. Porque são eles que precisam tomar decisões para aprimorar os resultados do programa. E são essas decisões que levam ao acerto”, analisou Mirela Carvalho.

Thomas David lembrou que se trata de um aprendizado constante que leva à melhoria do trabalho: “Inovar tem a ver com reagir rápido aos fracassos”.

Conclusões sobre o evento

Ao final de um dia de atividades e muitas reflexões, Andre Degenszajn, secretário-geral do GIFE, concluiu agradecendo a todos os envolvidos e explicando o contexto desse trabalho. “Esse não é um seminário desvinculado de um contexto mais amplo sobre o tema. São muitas pessoas lidando com o tema aqui. Esse processo foi idealizado, estruturado e financiado por um conjunto de organizações que tem contribuído com a evolução do nível de avalição do setor.”

Angela Dannemann, superintendente adjunta da Fundação Itaú Social, comentou que foi um prazer enorme ajudar a realizar esse evento. “Foi uma oportunidade para podermos tomar um tempo das nossas vidas para refletir sobre esse tema tão importante”, disse.

Monica Pinto, gerente de Desenvolvimento Institucional da Fundação Roberto Marinho, chamou a atenção para a necessidade do Brasil evoluir nesse tema. “Um desafio para o setor é melhorar nossos processos de planejamento e avaliação tem tudo a ver com isso. Estamos ainda no caminho do desenvolvimento de uma cultura de avaliação. Esse evento foi mais um passo nessa construção”.

Associe-se!

Participe de um ambiente qualificado de articulação, aprendizado e construção de parcerias.

Apoio institucional