As perspectivas para o Monitoramento e Avaliação de projetos e organizações
A pandemia de Covid-19 jogou luz na produção de dados e colaborou para mudanças nos processos avaliativos: é o que apontam especialistas. Apresentados em primeira mão, os membros do Conselho da Agenda de Avaliação do GIFE trazem as oportunidades de atuação e as tendências do tema.
“É preciso avançar em metodologias a distância e tecnologias, mas que deem conta de chegar perto dos beneficiários para entender o impacto em suas vidas e as mudanças mais significativas, além dos fatores que prejudicaram o alcance de resultados e avanços, especialmente com relação aos ODS [Objetivos de Desenvolvimento Sustentável].”
Outro exemplo de destaque é o Covid-19 Dashboard, da Johns Hopkins University (JHU), nos Estados Unidos. Se inicialmente a ferramenta, de forma emergencial, contabilizava o número de casos e mortes nos países atingidos pelo novo coronavírus, agora, dois anos depois do surgimento da doença e com a chegada das vacinas, o painel traz uma multiplicidade de informações: número total de casos, mortes e imunizantes administrados no mundo e por países.
Maior atenção aos processos de monitoramento e avaliação
Quando o assunto é monitoramento e avaliação durante a pandemia de Covid-19, há um consenso entre os especialistas: houve mais investimentos e atenção nos processos.
Marcia Joppert, consultora e diretora da Rede Brasileira de Monitoramento e Avaliação (RBMA), acredita que, a partir de agora, mais organizações vão demandar formação, conhecimento e apoio para montar seus sistemas de monitoramento, avaliação e aprendizagem.
Além do exemplo do consórcio de veículos de imprensa que, diante da decisão do governo federal de restringir o acesso a informações sobre os casos e mortes por Covid, decidiram formar uma parceria para obter dados junto às Secretarias de Saúde, Marcia defende
que a própria divulgação nas redes sociais de fotos de pessoas se vacinando também pode ser entendido como um processo de monitoramento e demonstra um posicionamento claro enquanto sociedade.
Por sua vez, Maure Pessanha, presidente do Conselho da Artemisia Negócios Sociais, argumenta que, considerando a urgência do cenário com a chegada do vírus ao Brasil, as organizações se colocaram em uma posição de ação. “Acredito que as questões mais reflexivas e de monitoramento e avaliação ficaram, no curto prazo, em stand-by, porque todos estavam muito preocupados em fazer acontecer. Mas no final do ano percebi que os doadores estavam muito interessados com os resultados das iniciativas também.”
Ana Rosa complementa: “Foram desenvolvidas inovações para monitorar e coletar dados quantitativos, mas pouco se pensou em metodologias para avaliar, a longo prazo, os diversos impactos sociais e emocionais. Focou-se muito em modelagens, mas pouco se pensou no social, emocional e no qualitativo.”
As dificuldades de avaliar durante a crise
No campo das organizações da sociedade civil, movimentos, fundações e institutos empresariais, Walquíria Tibúrcio, sócia consultora na MOVE – Avaliação e Estratégia, pontua questões que merecem debate no campo avaliativo.
Percepção sobre a avaliação: enquanto muitas organizações vêm as práticas de monitoramento e avaliação como algo supérfluo durante um período de crise – que conta com inúmeras outras demandas – e precisam ser relembradas sobre o sentido desses processos, outras instituições entendem como algo importante e que precisa ser realizado a todo custo, o que também têm pontos negativos.
Tempo: apesar da necessidade de ser ágil e, ao mesmo tempo, produzir boas respostas, é importante que as organizações tenham consciência de que processos avaliativos com uma grande quantidade de informações demandam das equipes e que a produção de boas afirmações e análises avaliativas carecem de tempo.
Processos remotos: a obrigatoriedade do distanciamento social e a impossibilidade de estar juntos presencialmente também teve efeitos no campo avaliativo. Walquíria explica que, se por um lado é importante confiar que plataformas e ferramentas têm a capacidade de apoiar a realização de bons processos à distância, o contato com as pessoas presencialmente em seus territórios faz falta e impõe restrições para responder a algumas perguntas no desenvolvimento da avaliação.
Definindo caminhos
Adentrar ou se aprofundar no mundo das avaliações pode não ser tão simples para instituições que não têm clareza sobre quais caminhos seguir. Para que se desenhe um bom processo, existem algumas etapas que devem ser observadas e colocadas em prática, independente do objeto de análise – um projeto, programa, iniciativa, ação recorrente ou pontual.
Com a proposta de apresentar esses caminhos, assim como as motivações, indicadores e abordagens avaliativas, a Agenda de Avaliação do GIFE preparou um infográfico especial. Acesse aqui.
Avaliação, equidade e diversidade
Além de entender as motivações para a realização de processos de monitoramento e avaliação – que ajudarão a embasar seus desenhos -, bem como as abordagens avaliativas, existem pontos-chave que devem ser considerados em todos os momentos, desde as conversas iniciais, passando por sua realização e o pós-avaliação. Um tema comum que tem marcado os debates é a importância desses processos considerarem a equidade e a diversidade.
Um dos maiores eventos do campo avaliativo do mundo, a conferência anual Eval20 Reimagined: A Virtual Experience, da American Evaluation Association (AEA), teve diversas mesas e debates para abordar diversidade e equidade na avaliação, reforçando a importância para a comunidade global de avaliadores.
Por reconhecer que processos avaliativos não podem mais desconsiderar a busca pela diversidade, uma das quatro dimensões apresentadas na publicação Diretrizes para Prática de Avaliação no Brasil é ‘Direitos e Integridade’. Publicada em 2020 com o objetivo de contribuir com a elaboração de documentos nacionais sobre monitoramento e avaliação que conversem com a realidade do país, a publicação de autoria da Rede Brasileira de Monitoramento e Avaliação (RBMA) e elaborada com apoio do GIFE apresenta 26 diretrizes.
As avaliações devem reconhecer e respeitar os direitos e posições sociais, culturais e políticas dos envolvidos. Esse é um dos motivos pelos quais um processo avaliativo pode ser uma ferramenta para a desconstrução de desigualdades.
Inspirada por diálogos no campo avaliativo do Brasil e do mundo, a Agenda de Avaliação do GIFE também teve uma produção própria sobre a temática.
A Nota Técnica (NT) Avaliação e Equidade explica que há uma tendência de projetar, tanto sobre a avaliação como sobre os avaliadores, expectativas de objetividade, isenção e imparcialidade. Entretanto, o documento aponta que em toda avaliação há processos de troca de informações, interpretação e aplicação do conhecimento, que são influenciados pelos valores e cultura dos participantes, incluindo o avaliador.
Nesse sentido, é possível aplicar a lente de diversidade em diferentes direções de um processo avaliativo. Segundo a nota técnica, mais do que pensar em equidade nos processos de avaliação, é necessário aplicar a lente no funcionamento da organização, com diversidade e consciência multicultural, racial e de gênero no conselho e corpo diretivo, nas equipes, na estrutura de tomada de decisões e na prática diária da organização.
“Temos visto grandes organizações e lideranças se movimentando e advogando pela agenda da equidade. Para quem trabalha com avaliação, é necessário aprimorar a prática considerando todos os marcadores sociais, principalmente os ditos estruturais das relações, que são os marcadores de gênero e étnico-raciais. Olhando para o cenário de hoje, não podemos mais falar sobre monitoramento e avaliação desconsiderando essas duas questões amplas da sociedade, principalmente no contexto brasileiro”, defende Walquíria Tibúrcio.
Os desafios e oportunidades para a Agenda de Avaliação em 2022
Mas, afinal, quais são os principais desafios para o campo de avaliação neste ano? E as oportunidades? É possível planejar processos avaliativos em diferentes áreas? Como o campo pode se desenvolver e profissionalizar?
Acesse o infográfico e confira reflexões sobre as principais tendências em monitoramento e avaliação de acordo com os membros do conselho da Agenda de Avaliação do GIFE.
Vitrine de iniciativas
Vozes do Campo
“Acredito que todos já perceberam a urgência por uma transformação em sistemas, de modo a interromper os efeitos negativos da mudança do clima, das desigualdades e da injustiça social, questões que nos acompanham há muito tempo. Começamos a pensar na complexidade que isso pode implicar e que métodos tradicionais sempre aplicados para avaliar não darão mais conta. Portanto, nossas competências e habilidades, que já apresentam muitas lacunas, terão que ser expandidas. A tendência já presente na arena internacional é que a avaliação assuma um posicionamento de valores e princípios em relação à sustentabilidade do planeta, apoiando processos de avaliação das transformações necessárias para salvar os ecossistemas.”
Marcia Joppert
consultora e diretora da Rede Brasileira de Monitoramento e Avaliação (RBMA).
“No campo de investimentos e negócios de impacto, o cenário de monitoramento e avaliação é bastante positivo e promissor, tanto na demanda dos próprios investidores mais tradicionais, filantropos e dos próprios investidores de impacto, como na importância dos empreendedores se conscientizarem cada vez mais desde o momento inicial a respeito de seu empreendimento, o que ele precisa avaliar e monitorar, e como pode fazer a gestão desse impacto.”
Maure Pessanha
presidente do Conselho da Artemisia Negócios Sociais.
“O papel do monitoramento foi essencial para apresentar em tempo real a situação da pandemia em termos quantitativos, mas o papel da avaliação ficou muito a desejar especialmente em termos qualitativos. Poucas instituições se prepararam para pensar de forma proativa e para medir impactos com controles e credibilidade, mesmo em termos quantitativos.”
Ana Rosa Monteiro Soares
chefe da seção de avaliações temáticas e corporativas globais do Escritório Independente de Avaliações do Programa das Nações Unidas para o Desenvolvimento (PNUD, com sede em Nova York, nos EUA).
“Penso que, passados os momentos críticos, ao analisarmos o desempenho do país nos seus diversos âmbitos, fica muito óbvia a importância de termos processos e instrumentos de monitoramento e avaliação para embasar ações e decisões. Participo de coletivos e movimentos sociais e todos eles estão passando por processos de avaliação com vistas a construção de planejamento para os próximos anos. Da mesma forma, na Avante, estamos iniciando um processo de avaliação externa para definir nosso planejamento. Tudo isso sinaliza a oportunidade de adesão às práticas de monitoramento e avaliação.”
Maria Thereza Oliva Marcilio
presidente da Avante Educação e Mobilização Social.
“Situações de crise puxam organizações para a ação, o que torna processos de monitoramento e avaliação no mínimo mais enxutos, econômicos e estratégicos. Além disso, 2022 é um ano que vai correr muito rápido. Por isso, acredito que temos que desenhar processos mais ágeis, que respondam às necessidades que podem mudar rapidamente.”
Martina Rillo
coordenadora de Monitoramento, Avaliação e Aprendizagem no Instituto Clima e Sociedade (iCS).
“Obviamente estamos enfrentando problemas acerca de dados. Há dados que não foram produzidos ou que são de difícil organização. Então, é necessário refazer as formas de coletar e tratar as informações para que tenham maior eficiência no conhecimento de dados e de construção de conhecimento para monitoramento e avaliação de políticas públicas.”
Gustavo Henrique Moraes
coordenador-geral de Instrumentos e Medidas Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (CGIME/INEP).
“A agenda de equidade racial é uma urgência desde que o Brasil é Brasil. Não se pode falar sobre a questão racial sem se implicar frontalmente. Ao mesmo tempo que é uma oportunidade, é uma necessidade e imperativo ético que a prática avaliativa esteja vinculada e atravessada pelas desigualdades. As avaliações precisam se perguntar cada vez mais de que maneira as iniciativas sociais respondem ou endereçam as desigualdades. Se elas têm capacidade de construir processos mais equitativos dentro da sociedade, vinculando o combate à desigualdade de gênero e principalmente, prioritariamente, raciais.”
Walquíria Tibúrcio
sócia consultora na MOVE - Avaliação e Estratégia.
A Agenda de Avaliação
Ana Rosa Monteiro Soares, chefe da seção de avaliações temáticas e corporativas globais do Escritório Independente de Avaliações do Programa das Nações Unidas para o Desenvolvimento (PNUD, com sede em Nova York, nos EUA)
Gustavo Henrique Moraes, coordenador-geral de Instrumentos e Medidas Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (CGIME/INEP)
Marcia Joppert, consultora, candidata ao doutorado em avaliação na Claremont Graduate University (EUA) e diretora da Rede Brasileira de Monitoramento e Avaliação (RBMA)
Maria Thereza Oliva Marcilio, presidente da Avante Educação e Mobilização Social
Martina Rillo, coordenadora de planejamento, avaliação e aprendizagem do Instituto Clima e Sociedade (iCS)
Maure Pessanha, presidente do Conselho da Artemisia Negócios Sociais
Wagner Andriola, professor Titular da Universidade Federal do Ceará (UFC) e Coordenador do Mestrado Profissional em Políticas Públicas e Gestão da Educação Superior
Walquíria Tibúrcio, sócia consultora na MOVE – Avaliação e Estratégia
Produção de conhecimento
Um dos pilares da atuação da Agenda de Avaliação do GIFE é a produção de conhecimento sistematizada em um site próprio lançado em 2020.
A plataforma reúne um calendário com os próximos cursos e eventos previstos na área de monitoramento e avaliação, materiais de referência sobre o tema, um glossário com os termos mais utilizados no campo e notícias sobre o tema.
Confira algumas das principais produções de conhecimento realizadas pela Agenda de Avaliação.
Podcast
A Série Avaliação do Podcast GIFE reúne convidados e especialistas no tema para debater como boas práticas de monitoramento e avaliação podem ajudar a aprimorar as ações dos investidores sociais no país. Disponível em todas as plataformas, os cinco episódios debateram avaliação de iniciativas socioambientais, geração de trabalho e renda, fortalecimento das organizações da sociedade civil, projetos educativos e o panorama da avaliação durante a pandemia. Ouça!
Notas Técnicas
A Agenda de Avaliação também produziu três notas técnicas com o objetivo de reunir referências e aprofundar o debate em temas como: equidade, a criação de uma cultura avaliativa nas organizações e mensuração de resultados e impactos ESG [Environmental, Social and Governance].
Entrevistas
Ao longo de 2020 e 2021, o projeto conversou com especialistas do campo sobre as potencialidades de processos avaliativos e como eles podem ser aplicados e desenvolvidos em diferentes contextos e temáticas. Confira a entrevista sobre avaliação e cultura de doação com Beatriz Bouskela, diretora executiva do Movimento Arredondar, e com Thereza Penna Firme, especialista em avaliação, sobre a participação e autorreflexão dos avaliadores durante os processos.
Mais!
Todas as reportagens, matérias, notas e eventos da Agenda de Avaliação podem ser acessados neste link.
Expediente
Natália Passafaro
COORDENAÇÃO DE COMUNICAÇÃO
Leonardo Nunes
ASSISTÊNCIA DE COMUNICAÇÃO
Estúdio Cais
REPORTAGEM/TEXTO
Estúdio Cais
INFOGRÁFICO
Marina Castilho
DESIGN & DESENVOLVIMENTO
