A avaliação de um programa ou um projeto social pode ter vários objetivos, como prestar contas aos financiadores, comunicar os resultados ao mundo, possibilitar correções de rumos, entre tantos outros. Porém, sejam eles quais forem, o fato é que as descobertas e os achados de uma avaliação são normalmente tão ricos que utilizá-los como fonte de consulta, inspiração e base é uma ótima oportunidade para novos aprendizados, desenvolvimento organizacional e tomada de decisão nas organizações.

Essa discussão permeou o 4º encontro do Ciclo de Avaliação, promovido pelo GIFE, pela Fundação Itaú Social e a Fundação Roberto Marinho, no dia 05 de julho, em São Paulo. A atividade marcou o fim deste ciclo que, durante 2016 e 2017, buscou debater sobre as várias etapas de um processo avaliativo: o antes, o durante e o depois (confira, ao fim da matéria, os links para os conteúdos já produzidos). Este encontro teve como foco central o “depois” e, ao longo de todo o dia, diversos gestores, especialistas, avaliadores e consultores puderam compartilhar práticas e visões sobre o tema a partir de perspectivas diversas, tornando a discussão ainda mais rica.

Inês Kisil Miskalo, gerente executiva da área de Educação, e Carolina Serain, gerente de Planejamento e Gestão, ambas do Instituto Ayrton Senna, apresentaram de que forma a organização tem feito a integração entre avaliação e estratégia institucional. O Instituto conta hoje com uma área de Planejamento e Gestão Estratégica, que é responsável pelo monitoramento dos projetos, avaliação, planejamento estratégico e PMO/Governança, em articulação com as áreas programáticas: Educação (Políticas de Aprendizagem e Desenvolvimento de Soluções), Edulab e Articulação.

Segundo Carolina Serain, a sistemática de acompanhamento tem como objetivo central gerenciar e aprender com os programas, tanto internamente, levando as informações até a camada mais diretiva da organização para a tomada de decisões, quanto junto ao público externo, principalmente as secretárias de educação e os parceiros investidores. Como estes públicos também são foco das avaliações, há uma sinergia muito grande com o monitoramento.

Essa integração ficou ainda mais evidente numa iniciativa que o Instituto Ayrton Senna desenvolveu junto aos Programas Acelera Brasil e Se liga. O monitoramento já fazia parte do DNA dos programas desde 1997, quando começaram a ser implementados em centenas de cidades do país, com acompanhando constante do desenvolvimento dos alunos que participavam das atividades em relação ao nível de leitura, escrita e oralidade.

O acompanhamento foi mostrando ao Instituto que havia uma dificuldade por parte da rede municipal em usar os resultados do acompanhamento para melhorias e novos rumos às ações. Em 2011, o Instituto desenvolveu um sistema de dados com alguns indicadores, para que as equipes das secretarias de educação parceiras pudessem registrar facilmente as informações, analisá-las e utilizá-las no dia a dia.

Com o estabelecimento em 2014 do Plano Nacional de Educação (PNE) no Brasil, o Instituto se provocou a dar um novo passo e estabelecer uma sinergia entre as metas dos programas e o atingimento das metas do PNE, ou seja, ir além da análise da eficiência e da eficácia do programa em si, estabelecendo esse olhar de relação com a política pública nacional. A partir de então, o Instituto estabeleceu um estudo de projeção das metas do programa frente a algumas metas do PNE:  Universalizar, até 2016, a educação infantil na pré-escola para as crianças de 4 a 5 anos de idade (Meta 1 do PNE); Garantir que pelo menos 95% dos alunos concluam os anos iniciais do ensino fundamental  na idade recomendada, até 2024 (Meta 2 do PNE); Alfabetizar todas as crianças, no máximo, até o final do 3º ano do ensino fundamental (Meta 5 do PNE); Reduzir a Distorção Idade-Série para 5%, fomentando a qualidade da educação básica, com melhoria do fluxo escolar e da aprendizagem (Meta 7 do PNE).

A ideia foi projetar como vinha sendo a trajetória de cada município e dizer como seria esse desenvolvimento comparando-o com os 100 municípios mais próximos; com os 30 melhores do país; com as metas dos estados; e assim por diante. As equipes da área de Educação e de Avaliação do Instituto trabalharam juntas para a construção dos critérios e de que forma poderiam ficar compreensíveis para os públicos. Assim, o município/estado pode analisar as curvas que deveriam realizar para atingir as metas do PNE observadas na parceria até 2021 (ano para cumprimento de metas, acompanhado pelo movimento Todos Pela Educação).

Esse monitoramento começou a trazer instrumentos claros para que as cidades pudessem, inclusive, construir seus planos municipais/estaduais de educação a partir de um diagnóstico mais claro da situação educacional. Os dados passaram a ser discutidos mensal ou bimestralmente no Comitê Gestor, grupo formado localmente com a presença de profissionais da rede municipal/estadual, inclusive com a participação de secretários de educação e prefeitos, representantes do Instituto, do Conselho Tutelar, áreas do Ministério Público responsáveis pela infância e educação, entre outros.

“Não é simples e fácil trazer para o grupo, principalmente os secretários e prefeitos, mas é possível, pois é essencial que eles coloquem em prática o seu papel de decisor e caminhem junto com o grupo. O próprio contrato de parceria do Instituto com as secretarias já traz essa necessidade da criação do Comitê Gestor”, comentou Inês.

O grupo, a partir deste diagnóstico, traça o planejamento das ações locais e acompanha se as atividades foram cumpridas, se as metas estão sendo atingidas ou não e define novos rumos para a educação. Segundo Inês, os Comitês são incentivados a contar com profissionais de diversas áreas das secretarias, como os responsáveis pela merenda, transporte escolar etc., a fim de estabelecer uma responsabilidade compartilhada pela melhoria da qualidade da educação.

“Quando levamos as projeções e as metas e mostramos que todos têm a oportunidade de superar, desde que tomem algumas decisões e façam as ações acontecerem, cria-se um sentimento de corresponsabilidade. Ou seja, é fruto de um processo avaliativo que mostra que, com todo mundo junto, é possível sim chegarmos aos resultados esperados”, comentou Inês. Hoje, em várias cidades e estados, o entendimento e uso do material existente tem sido incorporado nas ações nas escolas, ajudando os professores a repensar processos pedagógicos.

Inês destacou que há um intenso movimento de se estabelecer uma rede entre os gestores, a fim de que possam trocar experiências, compartilhar caminhos e soluções encontradas, tendo em vista, inclusive, que em vários destes locais o Instituto não está mais atuando de forma presente. A proposta é justamente trazer autonomia para os Comitês, a fim de que permaneçam com as ações que foram traçadas. Em alguns locais, por exemplo, já estão sendo estabelecidos arranjos, reunindo diversos municípios próximos, para que estes comitês possam estabelecer um polo de apoio mútuo.

“Ao longo dos processos, vamos entendendo quais são as possíveis institucionalizações que podem ser estabelecidas localmente a fim de garantir a sustentabilidade dos grupos quando acontece a nossa saída. A escolha, por exemplo, de desenvolvermos internamente o sistema de acompanhamento dos indicadores, foi justamente para garantir que as equipes pudessem ter acesso a uma plataforma aberta e flexível, mesmo depois da nossa saída. Há uma integração entre os sistemas para que isso possa ocorrer”, ressaltou Carolina.

Todos os aprendizados vivenciados por estas experiências são compartilhados internamente no Instituto, a partir de reuniões mensais das equipes, o que colabora com os processos de tomada de decisão.

Outro esforço do Instituto tem sido acompanhar os resultados, mesmo depois de sua saída, a fim de entender como as cidades/estados dão continuidade às ações. Carolina acredita que esse grupo de gestores pode ser um espaço interessante para acompanhar as discussões, temáticas, demandas e desafios que eles têm no cotidiano. Além disso, uma avaliação de impacto está sendo feita junto aos alunos de uma escola do Rio de Janeiro, a fim de acompanhar o impacto da participação nos programas do Instituto no projeto de vida destes estudantes.

Avaliação para aprender

Outra organização presente no encontro do Ciclo, que compartilhou sua experiência no uso da avaliação, foi a Comunidade Educativa CEDAC, responsável pela implementação de diversos projetos e programas desenvolvidos por investidores sociais.

Angela Luiz Lopes, coordenadora pedagógica de Gestão Educacional e Escolar da organização, trouxe um histórico sobre como o tema tem permeado o CEDAC ao longo dos anos, saindo de um momento inicial de baixa capacidade técnica a respeito, passando por um aumento de demanda de avaliação do parceiro financiador, o que demandou da equipe a construção de uma matriz avaliativa institucional.

Segundo Angela, essa matriz tem conseguido ampliar o conhecimento técnico da equipe do CEDAC sobre avaliação e ajudado a construir os indicadores específicos das matrizes avaliativas de cada um dos projetos, aplicadas na realização das atividades na ponta. “E ter estes indicadores é fundamental, pois ajuda a comunicar as ações junto ao parceiro e também engajar quem está na ponta, pois conseguimos negociar com os atores qual o lugar que queremos chegar juntos”, ressaltou.

As matrizes de cada projeto também têm sido utilizadas para reflexão do percurso de cada um no relatório pedagógico e de parceiros, assim como para a elaboração das pautas dos encontros e para compartilhar os objetivos das formações oferecidas – principalmente junto a gestores educacionais – com os participantes. O CEDAC tem priorizado a criação de indicadores para cada etapa do projeto, a fim de que todos possam ter claro onde é possível chegar em cada fase, além de definir indicadores de contexto, que sinalizam as condições para atuação local. Isso evita, por exemplo, segundo Angela, que se proponha um projeto sobre a discussão de temas que não são primordiais localmente ou que o município/estado ainda não tenha condições de assumir.

Para o CEDAC, os indicadores têm sempre dupla função, a de monitoramento de projetos e intencionalidade formativa, sendo utilizados para adesão e pactuação das ações, o que favorece a assertividade, além da tomada de decisões e ajustes dos projetos. Todos os instrumentos de acompanhamento e avaliação, destacou Angela, devem ser elaborados antes da ação.

“Os processos de construção de matrizes dos projetos têm ajudado, inclusive, a diminuir essa tensão que pode existir e alinhar as expectativas de quem executa a ação e de quem está investindo no território, pois neste momento já negociamos o tempo e as aprendizagens que serão estabelecidas”, disse, lembrando que é fundamental essa comunicação constante ao longo do projeto entre agente implementador e parceiros e não apenas em momentos pontuais.

Os consultores em projetos de monitoramento e avaliação, Clarice Corrêa de Mendonça e Guilherme Andrade Silveira, da Herkenhoff & Prates (HP), ressaltaram também que essa relação de confiança estabelecida entre quem avalia e os gestores é fundamental para que uma avaliação seja capaz de promover mudança organizacional.

‘Construir essa relação de credibilidade faz a diferença, depois, para que os dados e os resultados sejam utilizados. Isso porque a organicidade e a legitimidade do processo avaliativo afetam a receptividade da avaliação pelos públicos. Quando estes percebem que foi um processo legítimo, de construção de melhoria e não de cobrança, isso passa a fazer sentido”, comentou Guilherme.

Ao longo do dia do encontro, os especialistas discutiram ainda sobre a importância da comunicação no processo avaliativo (clique aqui para ler matéria a respeito).

Materiais

Veja as publicações com as sistematizações dos encontros:

Avaliação para o investimento social privado: criar condições antes de avaliar

Avaliação para o investimento social privado: definir o caminho metodológico mais adequado