MÔNICA HERCULANO
Repórter do redeGIFE

Indicadores são, resumidamente, atributos que facilitam a compreensão de determinada situação. Bons indicadores são aqueles aplicados na prática, que geram informações, são confiáveis e suscitam reflexões. Assim, para que eles sejam construídos, a clareza do que se busca compreender é determinante.

Estas são reflexões de Daniel Braga Brandão, Rogério Renato Silva e Antônio Luiz de Paula e Silva, especialistas em avaliação do Instituto Fonte. Segundo eles, a elaboração de bons indicadores passa, inevitavelmente, pela compreensão do que significa um indicador, conceitualmente, pelo grupo que o trabalhará. “”Sem um entendimento comum desse significado, pode haver mais confusão do que aprendizagem””, afirmam.

Em entrevista ao redeGIFE, eles falam sobre a criação de indicadores na área social, a interferência de questões políticas e a relação entre enfoques quantitativos e qualitativos na avaliação de projetos.

redeGIFE – O que pode atrapalhar a criação de bons indicadores para programas e projetos sociais?
Equipe Fonte – Um indicador pouco pode dizer quando isolado ou visto de maneira estática. Mesmo um bom conjunto de indicadores exprime apenas uma pista da realidade, parte de seus múltiplos aspectos. A leitura compreensiva do conjunto de indicadores é que gera um retrato da situação. Ao elaborá-los é, então, necessário ter consciência de todo o grupo de indicadores, de seus significados no conjunto, de suas relações. Ainda, indicadores exprimem o olhar de alguém para a realidade, o que se julga adequado considerar para compreender determinada situação social. Os olhares para tal realidade podem ser múltiplos, a depender da história de cada sujeito envolvido no processo. Com isso, construir bons acordos com todos os sujeitos envolvidos, onde se contemple as diversas compreensões numa síntese de olhares, é um passo importante – e um desafio a não se descuidar. É de grande valia acolher as experiências empíricas, valorizar os saberes de quem está na prática, quem faz o dia-a-dia, quem tem o olho no olho com as necessidades sociais. Cabe considerar, também, que os indicadores são inacabados, sua construção será perene, constante, exigindo reformulações e ajustes com o amadurecer da prática.

A inexistência de espaços de construção conjunta entre os diferentes atores relacionados ao projeto ou programa, se não há espaço de interlocução, reduz as possibilidades de que as pessoas afinem expectativas, conceitos, desejos e imagens, que são, digamos, o caldo de cultura a partir do qual os indicadores germinam. Indicadores nascem de debates – nos campos da ideologia, da moral e da estética, que são, por natureza, campos dialógicos e dialéticos. Evidentemente, dificuldades podem advir da ausência de clareza a respeito da direção estratégica que o programa ou projeto tem. É aqui que os indicadores encontram o planejamento. A discussão sobre indicadores pode gerar perguntas existenciais, sim – a maneira como essas são tratadas influirá decisivamente na qualidade dos indicadores. Os motivos que separam o planejado do executado são indicadores tão importantes quanto os próprios resultados executados. É aqui que se agrega o porquê das coisas a o que aconteceu.

redeGIFE – Como evitar que questões políticas e econômicas da organização interfiram na interpretação dos indicadores?
Fonte – Questões políticas e econômicas estão presentes, em diferentes graus de intensidade, em todos os projetos e programas sociais e se manifestam em diversos espaços inter e intra-organizacionais. Sua influência e seu peso na interpretação dos indicadores podem estar relacionados à forma como tais questões são tratadas ao longo do tempo. O que a instituição é politicamente, ideologicamente e organizacionalmente interfere no processo de avaliação, que nada mais será do que um espelhamento dos outros diversos processos que permeiam o grupo, o projeto, a organização. A avaliação é uma atividade de natureza política por lidar com os interesses de diferentes sujeitos. A convivência de tais interesses está relacionada ao processo de construção dos projetos onde esses sujeitos atuam. A preocupação demasiada em evitar que haja interferência pode criar distorções, bem como o oposto. O desafio está em explorar as diferenças e identificar e construir, muitas vezes lentamente, convergência. E é preciso coragem, maturidade e habilidade para superar possíveis resistências e mal-entendidos e conviver com a perspectiva de uma crise. A essência da tarefa pode estar em fazer emergir perguntas fundamentais para o desenvolvimento da iniciativa. Evitar tais questões leva ao risco de se permanecer na superfície, enxergar apenas a vitrine de um projeto quando a sua essência está ainda escondida. Deve-se levar em conta que a interpretação dos indicadores é uma fase do processo de avaliação tão importante quanto as outras (definição do porquê avaliar, do quê avaliar, do quando, de quem envolver, etc.). Particularmente, os indicadores são demonstrações de resultados e de processos organizacionais. Eles podem evidenciar um resultado aquém do esperado, um processo problemático ou conflituoso, ou mesmo um possível erro de estratégia ou uso de recursos e se tornarem veículo para críticas, acusações e disputas. Quando isso ocorrer, pode ser útil se perguntar se há e quais são os diferentes projetos políticos co-existindo na organização.

O tratamento a estas questões – as diferentes formas de disputas – deve se dar não apenas no momento que os resultados são trazidos à evidência, mas sim ao longo da vida organizacional, ao longo do processo de avaliação. Não se trata de evitar a interferência política ou econômica, mas sim de enxergá-la, torná-la evidente e lidar com ela da forma mais consciente possível. À medida que os processos de avaliação oferecem espaços para (re)significar relações, valores e acordos organizacionais, contribuem para o desenvolvimento da organização como um todo, rompendo a fronteira supostamente técnica que historicamente restringiu os processos de avaliação, bem como os de planejamento. O cuidado é essencial para que as crises não sejam evitadas, mas sim vividas na intensidade e profundidade necessárias ao desenvolvimento das organizações.

redeGIFE – Ao criar indicadores de desempenho e impacto de projetos sociais, é comum dar-se mais importância aos resultados quantitativos? Isso permite que o impacto real das ações seja medido idealmente?
Fonte – A importância maior dada ao enfoque quantitativo está relacionada a aspectos culturais, construídos historicamente pela ciência moderna. Os números são considerados objetivos, neutros, detentores da verdade. Predomina o mito de que o que não é numericamente mensurável não existe. Esta predominância criou um campo de linguagem orientado pela quantificação. A compreensão da dinâmica social, ou de outros objetos, só é obtida perante dados numéricos. A abordagem quantitativa ganha força pela sua possibilidade da generalização, que significa que os resultados alcançados podem ser utilizados para todas as situações similares. Evidentemente, os números têm grande importância e nos fornecem informações fundamentais. Entretanto, têm abrangência limitada. Há informações que dificilmente podem ser quantificadas com precisão no campo social. Restringir-se apenas aos números leva a restringir/reduzir a compreensão do efeito e influência dos projetos. A utilização de técnicas qualitativas vem ganhando força em décadas recentes. Esta abordagem permite até a não utilização de indicadores e questiona o pressuposto de que toda avaliação precisa necessariamente destes atributos. A avaliação de natureza qualitativa busca compreender aspectos específicos de uma intervenção não acessíveis aos dados quantitativos. A polarização conflitiva entre a quantificação e a qualificação tende a não ser saudável. A tarefa é estudar qual abordagem é a mais adequada frente ao foco da avaliação e à concepção de desenvolvimento vigente, considerando inclusive abordagens mistas. A ênfase entre quantidade e qualidade precisa ser problematizada pelos atores. São os atores do processo que determinarão o que será válido – e vão sofrer as conseqüências disso. Muitas vezes não se trata de escolha unilateral, mas de procurar balanço entre estas duas naturezas. Toda avaliação é aproximação (em direção à realidade e às pessoas). Talvez a pergunta seja: diante da complexidade do que enxergamos e sentimos, que métodos nos geram mais aproximação, possibilidade de descoberta e encontro de sentido?

redeGIFE – Até que ponto tomar como base indicadores já utilizados por outras organizações ajuda no processo de avaliação de projetos sociais?
Fonte – A experiência acumulada por outros é muito importante. Em determinadas áreas temáticas, há indicadores que com o tempo assumiram um lugar clássico (como a taxa de mortalidade infantil ou a expectativa de vida ao nascer na área da saúde; a evasão escolar no campo da educação; o grau de desmatamento para programas de preservação de florestas). Cada setor vai, ao longo do tempo, definindo um conhecimento nuclear clássico, quase um conjunto de referências que podem ser comuns a diferentes cenários. Contudo, a armadilha está em impor o geral ao específico, em tomar o indicador clássico como a evidência principal de uma realidade particular. Muitas vezes, as realidades particulares não podem ser apreendidas pelo indicador geral. É preciso se ater às construções locais. Chamamos a atenção para a necessidade do diálogo entre indicadores dessas duas naturezas, ao mesmo tempo, e também para o quanto os indicadores gerais (totais) podem levar os sujeitos a construírem comparações que muitas vezes não são justas, simplesmente porque não são situacionais. Indicadores utilizados por outros ajudarão, desde que façam sentido para a situação social em questão e os interessados nela. É preciso que haja relação intrínseca com o foco da avaliação e compreensão pelos atores sociais envolvidos. Há que se ter cuidado ao “”importar”” indicadores, mecanicamente. Se eles não construírem seu sentido em outras práticas sociais, essa importação lhes trará característica de exílio, com o isolamento, o sentimento perdido e a saudade de casa que o caracteriza.