Promover processos avaliativos é uma forma de coletar informações sistematicamente, organizá-las e, a partir de uma análise minuciosa, compreender se o objeto em questão – uma ação, atividade, programa ou projeto – produziu resultados e quais foram eles. Assim, é possível entender o que já foi feito e quais mudanças foram produzidas, o que poderá guiar os próximos passos. 

Essa é uma das ideias contidas na publicação Avaliação de Programas Socioeducacionais: como enfocar e pôr em prática – uma alternativa naturalística, lançada durante o webinário Avaliação de Programas Socioeducacionais, promovido pelo Itaú Social em julho.

De autoria de Thereza Penna Firme, Vathsala lyengar Stone e Juan Antonio Tijiboy, o livro é composto por oito cadernos que apresentam o conceito de avaliação, dicas de como preparar um processo avaliativo, como desenhar um esquema de coleta de informações, entre outras etapas. Os autores procuraram, a partir de uma linguagem lúdica e acessível, transmitir conceitos fundamentais que devem ser observados para que cada vez mais organizações possam desenvolver suas próprias formas de avaliar. 

Para aprofundar o debate sobre as potencialidades de uma avaliação bem como os potenciais desafios que pessoas, grupos e organizações podem enfrentar enquanto realizam avaliações, a Agenda de Avaliação do GIFE conversou com Thereza Penna Firme, especialista no tema, educadora e uma das autoras da publicação. Confira a entrevista a seguir. 

Para começar a nossa conversa, um trecho da publicação diz: “…a avaliação se ergue como uma ponte que estabelece transposições e ligações entre uma realidade e outra, contribuindo para a construção de novas realidades emergentes na busca de um entendimento cada vez mais completo e profundo.”. Qual é, portanto, a grande contribuição que uma avaliação pode trazer para um projeto socioeducacional?

Thereza: Conhecendo-se a realidade e julgando-a, com base em critérios defensáveis, é possível detectar os aspectos favoráveis e os não favoráveis para tomar decisões que venham promover o sucesso desejado e evitar o fracasso.

Você acredita que a avaliação é vista, ainda, como um tema distante e complicado por quem está no dia a dia dos projetos socioeducacionais? 

Thereza: Sim, na maioria das situações em que a avaliação ocorre, ela é ainda percebida como ameaçadora, punitiva e, lamentavelmente, como sendo esta a maneira correta de ser realizada.

Thereza Penna Firme, especialista em avaliação

Um aspecto bem interessante da elaboração dos cadernos que compõem o livro é o fato de que contou com diálogos entre os jovens e adultos envolvidos nos programas socioeducacionais avaliados. Em um processo avaliativo, qual é a importância do debate, participação e troca de experiências entre todos os envolvidos? 

Thereza: A percepção de uma determinada realidade é uma visão múltipla. As pessoas são diferentes e têm seus modos diversificados de ver e entender. Portanto, para se ter uma visão completa de um programa, projeto, instituição, de uma equipe de trabalho ou de uma pessoa e seu desempenho, é necessário chegar a um consenso que se aproxima da verdade, o que só é possível com a participação dos envolvidos e interessados no objeto de atenção da avaliação. Esse é o modo justo e ético de se aproximar do juízo de valor mais correto. 

O livro traz em seu nome a perspectiva de colocar em prática a avaliação como ‘uma alternativa naturalística’. Como essa alternativa está relacionada à subjetividade humana e de que forma isso interfere no processo avaliativo? 

Thereza: Ao contrário da forma de pesquisa pré-ordenada, a abordagem naturalística parte do contexto do objeto de atenção [da avaliação], ou seja, da sua realidade, extraindo daí as indagações, os indicadores e as sugestões para formular o plano de pesquisa. Esse tipo de abordagem leva em conta a subjetividade do objeto da investigação, seja ele uma pessoa, um programa ou uma instituição, na tentativa de ser o mais fiel possível à sua natureza. Não é que outras abordagens, como a pré-ordenada, estejam incorretas, mas a escolha da abordagem depende das características do objeto e do contexto em questão, bem como do propósito da avaliação.

O caderno 1 (um) traz, em linhas gerais, uma explicação em linguagem lúdica e acessível sobre o que é avaliação, quais são os interessados nesse processo e quais perguntas devem ser respondidas. Investir nessa compreensão aprofundada a respeito dos processos avaliativos antes mesmo de iniciá-los é uma forma de contribuir para sua qualidade? Por quê? 

Thereza: Quanto melhor o avaliando – quem está sendo avaliado – entender o significado da avaliação, seu propósito, vantagens, utilidades e sua contribuição para o aperfeiçoamento de quem ou do que está sendo avaliado, maior será o interesse em ser avaliado e, por isso, tanto o avaliador como o processo avaliativo terão maior credibilidade. Consequentemente, haverá melhor aceitação e disponibilidade para as necessárias decisões e mudanças para o aperfeiçoamento do foco de atenção e da própria metodologia de avaliação.

Por que a abordagem avaliativa ‘voltada aos participantes’, isto é, aquela que traz respostas aos próprios participantes do programa, pode ser considerada mais flexível que as outras abordagens, como a direcionada para os objetivos e para o gerenciamento? 

Thereza: As pessoas que integram um programa a ser avaliado precisam estar envolvidas e interessadas no alcance de seus objetivos e, portanto, devem conhecê-los bem e, mais ainda, aceitá-los, acreditando na importância de serem alcançados, sobretudo quando participam no processo de escolhê-los. 

Avaliar os resultados do impacto desse programa, projeto, curso ou de uma organização é, sem dúvida, um desafio de grandes dimensões, com resultados compensadores. Esse processo, porém, requer grande sensibilidade dos avaliadores e empatia, que significa estar no lugar do outro e não apenas simpatizar com ele. Só assim é possível compreendê-lo em profundidade. Tal intercâmbio é um processo humanizante, como deve ser qualquer avaliação.

É possível dar dicas para o trabalho de coleta e priorização das preocupações que são mapeadas em um processo avaliativo com os diferentes públicos interessados? E no processo de formulação das perguntas avaliativas, o que deve ser considerado a partir das preocupações mapeadas? 

Thereza: O levantamento das preocupações se faz no contato com os envolvidos e, de preferência, no local onde estão, mas também por meio dos recursos tecnológicos ou de diferentes tipos de contato, como entrevistas, grupos focais ou comunicação escrita, entre outros. 

O essencial é indagar ou observar diretamente o que está preocupando as pessoas em relação ao que estão realizando e procurar discutir o que é mais urgente ou prioritário avaliar. É a partir dessa etapa que são construídas as questões avaliativas que vão nortear o processo. Elas poderão se referir à indagação sobre o aspecto do programa em termos de resultados, relevância ou impacto ou sobre o mérito, que diz respeito à qualidade interna do  projeto, programa ou desempenho, em termos de recursos materiais, estratégias ou as condições e a própria competência dos responsáveis que conduzem o programa em questão.

O que é importante considerar no processo de elaboração dos indicadores que serão utilizados na busca pelas respostas às perguntas avaliativas? 

Thereza: A partir das questões formuladas, deve-se buscar, principalmente a partir da observação e no contato com a realidade, os sinais ou “pistas” que, de certo modo, sinalizam para as mudanças esperadas ou outras não pensadas antes, que estejam ocorrendo como algo novo. Os avaliadores, de preferência em pequenos grupos e não sozinhos, juntam as pistas que se assemelham no conteúdo para construir diferentes indicadores. 

Em um programa socioeducacional, por exemplo, “lavar as mãos, usar roupa limpa, escovar os dentes” seriam componentes para formar o indicador “hábitos higiênicos”, um indicador de impacto. Um outro exemplo seria: “entrar em fila, pedir licença para interromper uma conversa, dar a vez para quem tem urgência” compõem o indicador “atitude democrática”. Esses seriam alguns dos indicadores que, agrupados por semelhança, viriam a formar uma categoria no sentido mais amplo e que no caso poderia se chamar “desenvolvimento pessoal”. O processo metodológico segue, essencialmente, a observação sobre a frequência e a intensidade da presença desses indicadores, que servirão para coletar as evidências do impacto ou do mérito.

Quais são os principais desafios que os avaliadores podem enfrentar na etapa de trabalho de campo e como encontrar caminhos possíveis?

Thereza: É importante assegurar que se tenha credibilidade nos avaliadores em relação a sua competência. Acima de tudo, vale um comportamento ético e respeitoso a todos os envolvidos, cuidando para que os comentários, as observações e os resultados sejam tratados com respeito e estímulo, ressaltando, primeiramente, os aspectos positivos e favoráveis e só depois os que precisam ser corrigidos, de forma a não afetar negativamente a autoestima dos envolvidos. É uma questão de saber dizer a verdade de um modo confiante e acolhedor. 

A transparência, honestidade e o fortalecimento do avaliado é fundamental e crucial para o êxito de uma avaliação, cujo propósito é o aperfeiçoamento e a transformação. Para alcançar esse sucesso é preciso, ainda, avaliar a própria avaliação, por meio da autorreflexão dos avaliadores e a crítica construtiva dos pares e dos avaliados.