*Danilo André Fuster
A etapa de Avaliação de Políticas Públicas engloba as atividades realizadas por um conjunto de atores (estatais ou não), com o objetivo de avaliar como uma política pública ocorreu na prática, além de estimar seu desempenho no futuro. Na avaliação, investiga-se tanto os meios utilizados quanto os fins, ou seja, como os objetivos foram alcançados por uma política pública e quais seus resultados. Os resultados e as recomendações da avaliação podem retroalimentar outras etapas do ciclo de políticas públicas, por exemplo, possibilitando o aprimoramento da formulação e da implementação, ou então a sua completa reforma ou revogação.
Existem cinco categorias principais de avaliações administrativas, que combinam diferentes tipos de atividades de monitoramento e avaliação de impacto por parte dos atores estatais (BRANCALEON et al, 2015). São elas:
1) Avaliações de esforços: são tentativas de medir a quantidade de insumos do programa envolvido na política (pessoal, comunicação, transporte etc.) devem ser calculados em termos dos custos monetários. Seu propósito é estabelecer uma linha de base de dados que pode ser usada para outras avaliações de eficiência ou qualidade de entrega do serviço.
2) Avaliações de desempenho: examinam os produtos do programa, em vez de insumos, o número de leitos hospitalares ou vagas em escolas, por exemplo. Seu principal objetivo é simplesmente determinar o que a política pública está produzindo, muitas vezes independentemente dos objetivos definidos. Esse tipo de avaliação produz benchmark (ponto de referência) ou dados de desempenho, que são utilizados como insumos para as avaliações mais abrangentes e profundas.
3) Avaliações de processo: examinam os métodos organizacionais, incluindo as regras e procedimentos operacionais, utilizados para executar programas. Seu objetivo normalmente é ver se um processo pode ser simplificado e tornado mais eficiente.
4) Avaliações de eficiência: tentam avaliar os custos de um programa e julgar se a mesma quantidade e qualidade de produtos poderia ser alcançada de forma mais eficiente, ou seja, por um custo menor. Os insumos e produtos são o alicerce desse tipo de avaliação.
5) Avaliações de adequação de desempenho (ou de eficácia): comparam o desempenho de um determinado programa aos seus objetivos propostos para determinar se o programa está atingindo suas metas e/ou se as metas precisam ser ajustadas em função do cumprimento do programa. Esse também é o tipo de avaliação mais difícil de realizar. As necessidades de informação são imensas e o nível de sofisticação exigido para conduzir o processo é mais alto do que o que há geralmente disponível no governo.
Além delas, existe também uma sexta categoria de avaliação, as Avaliações políticas. Geralmente, essas avaliações são realizadas para esta finalidade por atores não estatais, tais como a mídia, partidos políticos, grupos de interesse, líderes comunitários, campanhas de relações públicas ou através do lobby por organizações da sociedade civil (OSC). Esse tipo de avaliação busca, muitas vezes, oferecer um feedback das políticas públicas. Mas, outras vezes, são utilizadas para apoiar o governo ou se opor a ele.
Embora algumas dessas avaliações sejam informais, a opinião pública é um fator extremamente importante para a percepção de sucesso e falha das políticas públicas em contextos democráticos.
Metodologias de Avaliação
Os gestores públicos têm a capacidade de controlar ou influenciar muitos aspectos das avaliações, desde a coleta de tipos específicos de dados ou informações usadas nas avaliações, o desenvolvimento de benchmarks e mensurações de desempenho, bem como a utilização dos resultados (BRANCALEON et al, 2015).
Brancaleon et al (2015) destacam dois tipos de métodos de coleta de informações que os gestores públicos devem incentivar, a fim de promover avaliações de alta qualidade:
1) Dados primários: são coletados diretamente pela organização para fins de avaliação;
2) Dados secundários: são coletados por organizações externas, geralmente para fins diferentes da avaliação em questão. Exemplos: dados nacionais do censo, do mercado financeiro ou de pesquisas de demográficas.
Os avaliadores necessitam interpretar informações, formular conclusões e determinar valor ou mérito de um programa ou política pública. Isso pode ser feito de diversas maneiras, com lógicas ou ênfases diferenciadas ou a partir de variadas concepções epistemológicas, tais como:
• Crenças filosóficas e ideológicas,
• Formação e preferências metodológicas, ou
• Abordagens e métodos.
Portanto, o ambiente operacional das políticas públicas é bastante complexo, exigindo um conjunto amplo de estudos de avaliação para entendimento de seus efeitos diretos e indiretos para diferentes públicos-alvo, das dificuldades de implementação das ações nos diferentes contextos de gestão e gravidade dos problemas públicos no território e dos custos envolvidos nos diversos processos nos diferentes contextos.
Problemas metodológicos
Os principais problemas metodológicos identificados no processo de avaliação são: (i) o estabelecimento de relações causais; (ii) os critérios de julgamento; (iii) a temporalidade; (iv) a opção metodológica; e (v) a generalização.
A causalidade é sempre difícil determinar com bom grau de certeza. Além disso, em alguns tipos de avaliação pode não ser relevante.
Quanto aos critérios de julgamento, é complicado estabelecer com clareza e pouca contestação, pois os objetivos de políticas públicas costumam ser vagos, múltiplos, conflitantes e até ocultos.
Quanto à temporalidade, cabe ressaltar que alguns resultados podem depender de maturação. Dessa maneira, a avaliação pode ser de pouca utilidade se o programa sofrer alterações constantes ou se realizada em momento inadequado.
Na opção metodológica, cabe considerar que cada metodologia de coleta e processamento de informações possui limites e possibilidades que podem gerar perspectivas diferentes do programa avaliado.
E por fim, quanto à generalização, existem dificuldades de estimar se os resultados de um programa seriam similares se ele fosse aplicado em outros contextos.
Preferências metodológicas
Os avaliadores geralmente optam por utilizar metodologias quantitativas ou qualitativas. A metodologia quantitativa, baseada no modelo hipotético-dedutivo, enfatiza a padronização e possibilidade de generalização, com base em modelos previamente definidos e em indicadores normalmente já estabelecidos e aceitos. Por exemplo, levantamentos amostrais e experimentos voltados ao dimensionamento de quantidades ou da intensidade de relações entre as variáveis (JANNUZZI, 2011).
Já a metodologia qualitativa enfatiza na descrição substantiva dos resultados da política pública, através de uma lógica indutiva. Por exemplo, utiliza-se a observação, as entrevistas e os grupos de discussão para investigar de forma exploratória problemas complexos (JANNUZZI, 2011).
A opção por uma metodologia ou outra nos estudos de avaliação demonstra uma dificuldade de se trabalhar com múltiplas metodologias e campos disciplinares. Além disso, existe uma inércia em relação aos campos conhecidos e preferidos, enviesado pelos métodos já testados e dominados.
Indicadores de Avaliação
Os indicadores de políticas públicas são instrumentos que permitem:
• Identificar e medir aspectos relacionados a um determinado conceito, fenômeno, problema ou resultado de uma intervenção na realidade;
• Traduzir, de forma mensurável, determinado aspecto de uma realidade dada (situação social) ou construída (ação de governo), de maneira a tornar operacional a sua observação e avaliação; e
• Constituir um retrato aproximado de determinadas dimensões da realidade social vivenciada.
Figura 1. Tipos de indicadores de avaliação.
As atividades de monitoramento e avaliação realizam-se mediante os sistemas de indicadores e pesquisas de satisfação, instrumentos investigativos que podem ser aplicados em qualquer momento do Ciclo de Políticas Públicas.
Monitoramento e avaliação de políticas são termos cunhados para designar procedimentos técnicos formais de programas, com enfoque na análise de eficiência, eficácia e efetividade da ação pública (COHEN; FRANCO, 1999).
REFERÊNCIA
BRANCALEON et al. 2015. Políticas Públicas: conceitos básicos. Material didático para Ensino à Distância. São Paulo: FEA-USP, 2015.
COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis: Vozes, 1999.
JANNUZZI, P. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e políticas públicas, n. 36, 2011.
*Danilo André Fuster - Servidor público do município de São Paulo atuando como professor na Escola de Gestão e Contas Públicas Conselheiro Eurípedes Sales do Tribunal de Contas do Município de São Paulo, Bacharel em Gestão de Políticas Públicas pela EACH-USP, mestre em Gestão de Políticas e Organizações Públicas pela UNIFESP e mestrando em Gestão de Políticas Públicas pela EACH-USP.
