Avaliação de políticas públicas- uma revisão teórica

Avaliação de políticas públicas- uma revisão teórica

(Parte 3 de 4)

Informação necessária

Método de coleta de dados aumentar a produção agrícola dos beneficiários do projeto volume da produção agrícola valor da produção agrícola

Quantidade produzida por cultura dados sobre produção dados sobre receita financeira pesquisa secundária (anuários de produção) pesquisa de campo

Fonte: costa e castanhar, 2003: 978.

A identificação de recursos do programa, as atividades e os resultados esperados (imediatos, médio e longo prazos) pode ser visualizada no exemplo da tabela 2.

545avaliação de políTicas púBlicas

Tabela 2

Exemplo da segunda etapa do modelo lógico em projetos de agricultura irrigada fatores contextuais

Inputs do programaAtividades do programaResultados imediatos

Resultados (impactos) de médio prazo

Resultados (impactos) de longo prazo recursos financeirosFinanciamento à produção apoio à comercialização mudança nos sistemas produtivos melhoria de volume de produção instalação de agroindústrias e serviços correlatos mudanças nos sistemas de comercialização da produção mudança nos padrões de vida das populações beneficiadas redução da ingerência do setor público na operação do programa pessoal alocado ao programa

Treinamento assistência técnica apoio à comercialização melhoria de renda aumento nos níveis de associação e integração entre os usuários recursos de treinamento (material instrucional)

Treinamento assistência técnica manutenção de níveis adequados de endividamento infra-estrutura realização de obras de irrigação equipamentosaquisição e distribuição de equipamentos para irrigação manutenção de níveis adequados de arrecadação x custos de operação produtores rurais elegíveis para o projeto cadastramento e identificação dos perfis dos beneficiários manutenção de níveis mínimos de inadimplência manutenção de níveis mínimos de transferência de lotes

546andrei piTTol Trevisan • Hans micHael van Bellen

Os fatores contextuais dizem respeito aos aspectos que estão fora do controle da equipe de planejamento e gestão do programa, porém podem exercer impacto positivo ou negativo sobre os resultados, tais como: características empreendedoras dos beneficiários, perfis de gerentes envolvidos na execução do projeto, características e atuação dos líderes comunitários.

Conforme Carvalho (2003:193), a metodologia do marco lógico se destaca pela clareza na distinção dos conceitos de avaliação e das atividades necessárias para seu desenvolvimento, bem como na proposição de dimensões para avaliação, “possibilitando resultados analíticos baseados em uma interpretação integrada do comportamento dos agentes, das atribuições das instâncias de implementação e da interação com as populações potencial e beneficiária”.

Diante dos diversos objetivos de uma avaliação de política pública, podem-se distinguir três modalidades de avaliação: avaliação de metas, avaliação de processos e avaliação de impacto (Garcia, 2001; Carvalho, 2003; Costa e Castanhar, 2003).

A avaliação de metas tem como propósito mensurar o grau de êxito que um programa alcança. As metas de um programa são os resultados mais imediatos que dele decorrem (número de pessoas atendidas em centros de saúde, número de horas de aula, número de leitos hospitalares). Trata-se, pois, de uma avaliação ex post facto, visto que pressupõe a atribuição de valores a um conjunto de metas, definindo-se o êxito do programa em função de que tais metas tenham sido cumpridas. Algumas limitações desse tipo de avaliação são: dificuldade de especificar as metas de forma precisa; seleção de metas a serem incluídas no processo de avaliação; mudanças nas metas ao longo da própria execução do programa (Costa e Castanhar, 2003).

A avaliação de processo visa detectar defeitos na elaboração dos procedimentos, acompanhar e avaliar a execução dos procedimentos de implantação dos programas, identificar barreiras e obstáculos à sua implementação e gerar dados para sua reprogramação, por meio do registro de intercorrências e de atividades. Essa avaliação se realiza concomitantemente ao desenvolvimento do programa, portanto, o uso adequado das informações produzidas permite incorporar mudanças ao seu conteúdo (Carvalho, 2003; Costa e Castanhar, 2003).

Já a avaliação de impacto, conforme Carvalho (2003:186), “é aquela que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção pública, avaliando-se sua efetividade social”. Busca-se nessa avaliação detectar as mudanças que efetivamente ocorreram e em que medida as mudanças ocorreram na direção desejada. De acordo com a autora, dois pressupostos orientam a avaliação de

547avaliação de políTicas púBlicas impacto: o primeiro reconhece propósitos de mudança social na política em análise e, dessa forma, faz sentido configurar a investigação para mensurar seus impactos; o segundo pressuposto é o que estrutura a análise com base em uma relação causal entre o programa e a mudança social provocada.

Não basta constatar a ocorrência de mudança, é preciso estabelecer a relação causa-efeito entre as ações de um programa e o resultado final obtido; entre essas e a ação pública realizada por meio da política (Garcia, 2001; Carvalho, 2003; Costa e Castanhar, 2003). Por sua natureza avaliativa ela é considerada ex post facto.

Por fim, a avaliação, como instrumental de análise, pode-se valer também dos métodos próprios da pesquisa social. A sua escolha, entretanto, não é casual nem mesmo predeterminada, pois o pressuposto é que seja conforme os objetivos (explícitos ou implícitos) estabelecidos pela política (Carvalho, 2003).

Um último comentário merece ser prestado aos estudos de avaliação de avaliações, ou metaavaliações. Segundo Henry (2001), em algum momento os avaliadores também serão responsabilizados (accountable) pelas suas decisões. Mais provavelmente, os avaliadores serão responsabilizados não apenas em adotar procedimentos-padrão, mas pelos seus resultados e pelos impactos de seus achados. Para esse autor, o futuro da metaavaliação passará a focar com mais intensidade as avaliações individuais — durante o processo, os critérios para definir o que é certo nas avaliações individuais serão melhorados, criticados, revisados e, talvez, aceitos.

Conforme Henry (2001), o interesse em metaavaliações pode produzir duas linhas importantes de trabalhos para o campo. Em primeiro lugar, um resultado muito positivo poderia ser um conjunto de estudos empíricos que examinam os impactos verdadeiros das avaliações. A segunda contribuição das meta avaliações diz respeito às revisões de avaliações individuais. Henry (2001) assinala que os métodos para testar avaliações específicas devem trazer à luz preconceitos e inclinações quando eles ocorrerem e devem fazer com que esses achados sejam acessíveis. Além disso, “eventually, to engender confidence in the independence of these reviews, the methods must not only be capable of a determination of bias, they must actually determine some instances in which it has actually occurred” (Henry, 2001:426).

6. Considerações finais

As últimas décadas têm registrado o ressurgimento e crescimento do campo de conhecimento das políticas públicas, em especial no Brasil. Esse novo fô-

548andrei piTTol Trevisan • Hans micHael van Bellen lego deve-se em grande parte às alterações históricas, políticas e econômicas vivenciadas pela sociedade, e encaradas pelos governos como desafios, que se traduziram em modificações sobre a forma de compreender, formular e avaliar as próprias políticas.

Nesse veio, conforme levantado pela literatura em avaliação de políticas públicas, a função de avaliação sofreu deslocamentos teórico-discursivos, tomando-se como ponto de partida a década de 1960. Nesse período, a ênfase política sobre a avaliação concentrou-se no fornecimento de informação para os gerentes de programas públicos, de forma a garantir feedbacks para correções de rumo. Na década de 1980, a avaliação pende para a função de (re)alocação, ou seja, buscava-se eficiência na alocação de recursos com base em critérios racionais do processo orçamentário.

A década de 1990 marca a última fase evidenciada pela literatura, na qual o deslocamento teórico-discursivo é fortemente marcado pelo questionamento do papel do Estado, aliado à influência da nova administração pública. A avaliação assume a função de legitimação, ao mesmo tempo em que são exigidos resultados da administração e das políticas públicas.

Inovações e refinamentos teóricos com relação a metodologias de avaliação acompanharam e acompanham de perto as concepções e funções das políticas públicas. Nesse sentido, os esforços de pesquisa na avaliação de políticas apontam para uma maior estruturação e sistematização dos programas, tal como visto com a metodologia do marco lógico.

Contudo, outros questionamentos sobre a avaliação de políticas públicas se colocam, lentamente, na agenda de pesquisas acadêmicas. Assim como o movimento da nova administração pública vem sofrendo pressões sobre seu caráter democrático-participativo (ou falta dele), está em aberto o debate sobre novas formas de accountability e participação social sobre a avaliação de políticas públicas no contexto democrático brasileiro.

Referências bibliográficas

ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-59, out./dez. 2000.

ARRETCHE, Marta. Dossiê agenda de pesquisa em políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 7-9, fev. 2003.

_. Tendências no estudo sobre avaliação. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 29-39.

549avaliação de políTicas púBlicas

CARVALHO, Sonia Nahas de. Avaliação de programas sociais: balanço das experiências e contribuição para o debate. São Paulo em Perspectiva, São Paulo, v. 17, n. 3-4, p. 185-197, jul./dez. 2003.

COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 962-969, set./out. 2003.

COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (Saeb). Revista do Serviço Público, Brasília, v. 52, n. 4, p. 89-110, out./dez. 2001.

DERLIEN, Hans-Ulrich. Una comparación internacional en la evaluación de las políticas públicas. Revista do Serviço Público, Rio de Janeiro, v. 52, n. 1, p. 105-122, jan./mar. 2001.

FARIA, Carlos Aurélio Pimenta de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005.

_. Idéias, conhecimento e políticas públicas: um inventário sucinto das principais vertentes analíticas recentes. Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 21-29, fev. 2003.

FERREIRA, Aurélio Buarque de Holanda. Dicionário Aurélio Eletrônico: século XXI. Rio de Janeiro: Nova Fronteira, 1999. versão 3.0. CD-ROM.

FREY, Klaus. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259, jun. 2000.

GARCIA, Ronaldo Coutinho. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília, n. 23, p. 7-70, jan./jun. 2001.

HENRY, Gary T. How modern democracies are shaping evaluation and the emerging challenges for evaluation. American Journal of Evaluation, v. 2, n. 3, p. 419-429, Sept. 2001.

JOBERT, Bruno; MULLER, Pierre. L’Etat en action. Paris: PUF, 1987.

LOBO, Thereza. Avaliação de processos e impactos em programas sociais: algumas questões para reflexão. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 75-84.

MELO, Marcus André. As sete vidas da agenda pública brasileira. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 1-28.

(Parte 3 de 4)

Comentários