Representantes de empresas, institutos e fundações, do poder público, da academia e de organizações sociais estiveram reunidos no último dia 6, no Rio de Janeiro, durante o seminário “Avaliação para o Investimento Social Privado: Estratégia Organizacional”. O evento é uma iniciativa da Fundação Roberto Marinho e da Fundação Itaú Social, em parceria com a Fundação Maria Cecília Souto Vidigal e com a consultoria MOVE. O encontro contou com o apoio da Fundação Santilliana, da COMEA e do próprio GIFE.

A proposta do evento foi colocar no centro do debate um tema que ainda é considerado tabu em muitas organizações: a avaliação. Em pauta, assuntos como aprendizagem e inteligência organizacional, estudos avaliativos, impacto e tecnologias para mensuração de resultados.

Consenso entre todos os debatedores, existe uma ideia geral de que as organizações brasileiras avançaram muito nos últimos anos em suas práticas de avaliação. Contudo, ainda há um longo caminho a percorrer. Mais do que discutir metodologias, as mesas e oficinas se dedicaram a explorar o valor que os dados gerados pelo processo de avaliação gera para a cultura organizacional.

Daniel Brandão, diretor executivo da Move, consultoria especializada em avaliação e estratégia em desenvolvimento social, lembrou as últimas duas edições do evento. “O primeiro encontro falou sobre relevância, o segundo se voltou para as metodologias de avaliação e esse discutiu estratégia organizacional. A ideia foi propor reflexões sobre nossas práticas, provocar questões e conhecer experiências brasileiras e internacionais.”

Grande expectativa do evento, os convidados internacionais trouxeram contribuições sobre metodologias que geraram grande aprendizado organizacional.

Patricia Rogers, professora da RMIT University, de Melbourne, na Austrália, explicou que a avaliação é algo que deve estar no centro da estratégia organizacional e não deve ser uma prática lembrada apenas no fim de um programa ou projeto. “Trata-se de um leque de atividades que acontecem ao longo de todo o ciclo do trabalho.”

Para a especialista, existem algumas perguntas fundamentais que devem ser feitas durante a avaliação de uma prática: “O projeto funcionou? Para quem e em que circunstâncias ele funcionou? Valeu a pena? Vale a pena continuar? O que precisa ser ajustado?”

Parece simples, mas, de fato, trata-se de um complexo de ferramentas, atitudes e processos. Patricia comenta que o ponto de partida é a análise das necessidades e da situação de intervenção. Isso significa também pensar em recursos, possibilidades, modelo de operação. Para ela, é um equívoco se lançar à prática sem antes pensar a avaliação da experiência.

Todo e qualquer processo de avaliação deve estar plenamente alinhado à missão, aos objetivos e aos valores da organização. É desse DNA que um modelo estruturado de avaliar programas e projetos nasce – e, no sentido contrário, as práticas de avaliação também podem afetar a dinâmica e a cultura de uma empresa, instituto ou fundação.

De acordo com a professora da RMIT University, as técnicas e metodologias são diferentes quando se fala de um projeto específico ou quando se fala de toda uma organização e de seu investimento social. Em comum, elas mostram onde é o ponto de partida e onde se pretende chegar.

Um dos pontos mais valiosos de um processo de avaliação estruturado é a inteligência que ele é capaz de gerar. Dessa forma, o registro e a documentação de cada fase, de cada avanço ou recuo é fundamental. É aí que Patrícia fala em ‘inteligência organizacional’. “A documentação é importante para garantir que um projeto bem-sucedido possa ser replicável. É por meio desse trabalho que ficarão claras as mudanças, os beneficiados diretos e indiretos e o impacto geral do investimento.”

Para a professora, o mundo caminha para um momento de ampla valorização das práticas de avaliação. Ela explica que trata-se de fazer periódica e sistematicamente. Um sistema que considera valores formais e explícitos (dados quantitativos) e valores tácitos (não óbvios), e valores negociados. “Discutir o que é um trabalho bem sucedido e onde se espera chegar exige diálogo e negociação dentro da organização.”

Introduzir práticas de inovação dentro de uma organização exige esforço coletivo e diferentes métodos e processo – amostragem, observação, perguntas descritivas, avaliativas e causais. “É uma grande estratégia de aprendizado. Exige muita capacitação e treinamento, mas é algo recompensador.”

Para conhecer o trabalho de outras organizações e compartilhar boas práticas, Patricia recomenda o site Better Avaluation (betterevaluation.org/portuguese), uma plataforma global para falar sobre o tema avaliação e trocar experiências.

Credibilidade e padrões de avaliação

Thomas Cook, professor da Northwestern University, de Chicago (EUA), e autor de 10 livros e diversos artigos sobre o tema avaliação, trouxe para o evento casos que mostram como estudos avaliativos podem aumentar a efetividade das organizações.

De acordo com o especialista, as práticas de avaliação variam muito entre países, mas, de forma geral, podem contribuir para empresas, institutos, fundações e organizações sociais mostrarem à sociedade suas contribuições para uma vida melhor para todos.

“O que se espera de uma organização? Responsabilidade fiscal? Transparência na aplicação de seus recursos? Sim. Mas também se espera que elas contribuam para a melhoria da qualidade de vida dos indivíduos, das famílias e das comunidades que recebem seus investimentos.”

Thomas Cook explica que somente práticas efetivas de avaliação podem contribuir de fato para demonstração de resultados alcançados com programas e projetos, sem efeitos colaterais indesejados. “A avaliação de impacto mostra que você mudou a vida das pessoas nessas comunidades.”

Ele lembra que o debate atual é sobre a validade dos dados divulgados. Ou seja, que padrões foram adotados para medir resultados. “Em vários países, especialmente na América do Norte e na Europa, há um ideia crescente de que os melhores padrões de evidência para mostrar efeito são os de randomização, ou seja, os aleatórios.”

A ideia de randomização diz respeito a uma técnica que define integrantes para uma população de pesquisa de forma aleatória. Trata-se de um padrão ou normas de avaliação com alto potencial de análise da eficácia de uma experiência.

De acordo com o professor, podemos observar atualmente uma grande discussão sobre a importância dos padrões. “É a partir daí que se determina o que é aceito como eficaz e o que pode ser disseminado para o mundo. Cada vez mais pessoas dizem que é preciso ter normas para inferir o que é uma avaliação aceitável de um impacto.”

Tudo isso implica na necessidade de avançarmos para uma política clara do papel da avaliação nas organizações. “Governos e a mídia em geral dão mais valor a experimentos avaliados com padrões rigorosos. Trata-se de um tipo de estudo que dá mais validade e credibilidade aos resultados de projetos.”

Tessie Catsambas, presidente da EnCompass LLC, de Washington (EUA), propõe um olhar “de cima para baixo” para as práticas de avaliação no Brasil e no mundo. Segundo ela, sem avaliação você vê apenas a ponta do iceberg. “São esses processos que permitem ver todos os níveis de uma experiência. É um trabalho de engajamento de pessoas diferentes em um mesmo sistema.”

A especialista reconhece o valor da experiência brasileira. “Vejo que aqui a avaliação tem grande poder para influenciar políticas públicas”, avalia. Contudo, ainda há muito o que avançar. Tessie acredita que por ser um trabalho, em geral, que demanda muito investimento, eventualmente, é deixado de lado.

Para ela, os investidores sociais tem a obrigação de discutir e avançar no que consideram importantes métricas para avaliar seus programas, projetos e suas organizações. “O setor privado tem metas acessíveis e fantásticas de avaliação, como a ideia do lucro e da liquidez nos bancos, por exemplo. As empresas de mídia também monitoram seus índices de audiência. O setor social precisa saber para onde olhar e como mostrar seus resultados.”

Mônica Dias Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho, organização que recepcionou os convidados nessa edição do seminário no Rio de Janeiro, conclui que para realizar uma boa gestão de recursos privados de interesse público é preciso fazer avaliações relevantes, que gerem informações sobre a qualidade, a eficácia e a efetividade dos projetos e programas realizados.

Isabel Santana, superintendente da Fundação Itaú Social, outra organizadora do evento, propõe um compromisso: “Não podemos engavetar resultados de avaliação. É preciso dar consequência às avaliações feitas. Isso representa uma enorme transformação. Porque se todos sabem que os resultados serão divulgados, o engajamento é maior para buscar o melhor desenho possível para um programa e projeto, e assim, atingir os melhores resultados.”

Beatriz Gerdau, presidente do Conselho de Governança do GIFE, esteve presente no evento e comentou a importância de eventos como esse que chamam a atenção para um tema tão importante. “Nós não conseguimos mostrar resultados se não os medirmos. Precisamos aprender a gerenciar, medindo e mostrando as diferenças e as transformações que estão sendo feitas.”

Todas as apresentações dos palestrantes estão disponíveis no link.

A Fundação Roberto Marinho, a Fundação Itaú Social e a Fundação Maria Cecília Souto Vidigal são associadas GIFE