Aconteceu na quarta-feira (15/08), no Centro Cultural São Paulo (CCSP), o 14^o Seminário Internacional de Avaliação. Uma iniciativa conjunta entre GIFE, Itaú Social, Fundação Roberto Marinho e Instituto C&A, o evento reuniu representantes de organizações da sociedade civil, governo, imprensa, especialistas, estudantes e outros interessados para refletir sobre “Pensamento Avaliativo e Transformação Social”.

O seminário contou com a presença de Michael Patton, fundador e presidente da Utilization-Focused Evaluation (Avaliação Focada no Uso), nos Estados Unidos, que dedicou os últimos cinquenta anos a pensar na interface entre avaliação e aprendizagem. O esforço o tornou referência no assunto para líderes empresariais e organizações do terceiro setor em todo o mundo.

A programação do evento contemplou ainda duas mesas que propiciaram um ambiente de troca de experiências e aprendizados sobre a utilização do pensamento avaliativo na proposição de soluções aos desafios sociais da atualidade.

Angela Dannemann, superintendente do Itaú Social, explica que a iniciativa dá continuidade a um ciclo de seminários realizados pelos quatro parceiros para discutir avaliação no campo do Investimento Social Privado (ISP). “Esse é um tema que o Itaú Social vem trazendo há muitos anos, é o 14^o seminário. A gente se reúne nesse primeiro seminário realizado conjuntamente para discutir uma coisa muito importante que é pensar avaliativamente. Trazer o Michael é fazer essa mudança, uma chamada para a reflexão em um mundo que está com muitos desafios que só serão vencidos pela colaboração e a gente começa demonstrando essa colaboração na própria realização do seminário”, destacou.

A superintendente afirma que o Itaú Social sempre teve o tema da avaliação quantitativa de impacto muito forte na sua prática e que o momento traz para junto dessa abordagem outras metodologias.

“A avaliação passa a transpassar toda nossa programação interna e também toda nossa atuação para fora, o que faz com que o avaliador desenhe [as iniciativas] desde o início utilizando métodos mistos e a gente faça as avaliações acompanhadas de monitoramento que, dentro da gestão, é a coisa mais importante”, diz Angela.

José Marcelo Zacchi, secretário-geral do GIFE, destacou o papel da sociedade civil organizada na produção de conhecimento e repertório que ajude a qualificar a ação pública como um todo em sentido amplo e em escala. “Isso leva para outra dimensão o sentido estratégico que a avaliação tem para nós.”

Para Giuliana Ortega, diretora executiva do Instituto C&A, a avaliação, quando vista apenas como ferramenta, tem grande chance de ser engavetada e não utilizada. “Se ela se torna parte da cultura, ou seja, eu preciso da avaliação como forma de aprender e aumentar o meu impacto, ela passa a ser uma aliada, eu passo a fazer mais uso dela e isso se torna parte do processo de aprendizagem.”

Pensamento avaliativo e transformação social

Ao mencionar o início de sua jornada na África há cinquenta anos, Michael Patton contou que, ao retornar aos Estados Unidos, tomou contato com o trabalho de Paulo Freire. “Aquilo me trouxe uma compreensão profunda do que eu havia vivenciado.”

Segundo o especialista, pessoas engajadas no processo de avaliação desde a formulação das perguntas até sua implementação acabam aprendendo a pensar de forma avaliativa. “Temos que refletir sobre quais são as mensagens pedagógicas. As descobertas podem ser efêmeras, mas o ensinamento fica.”

Patton destacou o caráter da utilização como único caminho para legitimar qualquer processo de avaliação. “Não importa quanta eloquência metodológica utilizamos. A avaliação tem que ser utilizada ou não tem valor. Somos responsáveis por fazer com que os inovadores sociais vejam a avaliação como algo útil, que ajuda na tomada de decisões em tempo real, e não só como um relatório.”

Para o estudioso, o maior desafio para o desenvolvimento do pensamento avaliativo é conseguir fazer com que as pessoas dediquem tempo. “O pensamento avaliativo não é algo natural e desenvolvê-lo é como descascar uma cebola. Exige tempo e comprometimento com um engajamento real.”

Sobre a interface entre pensamento avaliativo e transformação social, o especialista acredita na colaboração entre os diversos setores para a resolução dos desafios. “Não há nenhum projeto, programa ou política, em nenhuma área, em que só uma pessoa tenha contribuído. Pensem na epidemia do HIV, revertida aqui no Brasil. O apartheid, o colonialismo. Precisamos da colaboração de vários setores, níveis e abordagens.”

Patton concluiu deixando um recado aos atores comprometidos com as transformações sociais. “O que vejo os avaliadores fazendo frente aos novos desafios é voltar para a caixinha do projeto. No entanto, a ideia é transformar o sistema. Nos últimos cinquenta anos, passamos da avaliação de atividade para a avaliação de resultado, para a avaliação de impacto e agora temos que passar para a avaliação de transformação. A transformação não é um projeto. Ela envolve a avaliação de sistemas.”

Avaliação e transformações na prática

A mesa “Diálogo sobre avaliação e transformações sociais” reuniu representantes de instituições dos diversos setores da sociedade para uma conversa baseada em experiências concretas de avaliações que trouxeram aprendizados importantes e que apoiaram suas organizações a se tornarem mais efetivas na promoção de transformações sociais.

Fizeram parte do bate-papo cases da Fundação Tide Setubal, Insper, Instituto Camará Calunga e Instituto Brasileiro de Geografia e Estatística (IBGE).

Neca Setubal, presidente do conselho de governança do GIFE e do conselho consultivo da Fundação Tide Setubal, falou sobre o trabalho da Fundação com a agenda de desenvolvimento em territórios da zona leste de São Paulo.

A presidente contou que as avaliações contribuíram para a decisão de expandir a expertise da Fundação para outros territórios dentro e fora da cidade de São Paulo. “Identificamos um grande grau de confiança e legitimidade nas falas de agentes das comunidades, além da capacidade de mobilização para atuar junto à comunidade. Isso nos fez perceber que teríamos mais potência se voltássemos nossa experiência para a cidade como um todo e para outras periferias fora de São Paulo.”

Naércio Menezes, do Centro de Políticas Públicas do Insper, trouxe a experiência da instituição com o Programa Jovens Urbanos, que oferece formação profissional a jovens no contraturno escolar, além de bolsas de incentivo. Além de mensurar o impacto, o processo avaliativo da iniciativa ajudou a identificar problemas que puderam ser corrigidos na edição posterior do programa.

“Notamos que uma parcela dos jovens abandonou a formação antes do fim. Diminuímos a faixa etária e aumentamos a bolsa e com isso a evasão diminuiu e os resultados positivos se mantiveram.”

João Franca, do Instituto Camará Calunga, compartilhou os aprendizados com rodas de avaliação com a participação de crianças, adolescentes e adultos, observando que o formato tem origem na compreensão de que o lugar da criança deve ser reconhecido como lugar da potência, pensando-a como sujeito político. “Aprendemos que compreender o modo como o território se organiza e propor transformações, primeiro exige diálogos inter-geracionais, entre pessoas em posições distintas. Não é fácil. A gente costuma se encontrar mais entre pares.”

Paulo Januzzi, da Escola Nacional de Ciências Estatísticas do IBGE, falou sobre a experiência do Programa Nacional de Acesso ao Ensino Técnico e Emprego (Pronatec), criado pelo governo federal em 2011 e extinto em 2016.

Paulo resumiu o aprendizado resultante do processo avaliativo do programa em dois aspectos: o foco na implementação, considerando o caráter de política pública, e a manutenção dos valores públicos da política a despeito dos critérios técnicos na hora da avaliação. “Os programas não surgem do nada. As políticas operacionalizam direitos instituídos na nossa Constituição. Cabe um enorme esforço para que sejam implementados efetivamente.”

A influência de Paulo Freire na prática e teoria da avaliação

A última mesa do seminário teve o patrono da educação brasileira, Paulo Freire, como tema central. Além de Patton, participaram do debate Moacir Gadotti, presidente de honra do Instituto Paulo Freire, Vilma Guimarães, gerente de educação e implementação da Fundação Roberto Marinho, e Thomaz Chianca, consultor técnico desta edição do evento.

Moacir usou as experiências e o conhecimento adquirido durante os 23 anos em que conviveu com Paulo Freire para comentar a relação do educador com a avaliação e como a questão é abordada no livro de Patton. “Embora Paulo Freire não tenha escrito um livro ou artigo sobre avaliação, essa foi uma preocupação constante em sua vida e obra, simplesmente porque se não avaliarmos aquilo que se faz, não sabemos se atingimos o resultado que queremos.”

Vilma contou ao público que sua vivência com Paulo Freire começou ainda jovem, quando frequentava os círculos de cultura promovidos no Recife pelo educador. A gerente recapitulou a história de Paulo Freire desde os anos 60 usando ilustrações da versão em português do livro de Patton, “Pedagogia da avaliação e Paulo Freire: Incluir para Transformar”, traduzido por ela e lançado ao final do evento.

“A volta de Paulo Freire a Angicos [município do Rio Grande do Norte] virou quatro programas de TV que foram veiculados para o Brasil inteiro. Foi uma forma de a gente retomar as ideias, teoria, prática e os desejos de Paulo Freire e seus discípulos, que trabalharam na perspectiva de uma educação libertária, consciente, que respeita a história de cada um e que, ao mesmo tempo, tem um rigor científico, oferece uma educação de qualidade, que é um direito.”