Avaliação de políticas públicas- uma revisão teórica

Avaliação de políticas públicas- uma revisão teórica

(Parte 2 de 4)

537avaliação de políTicas púBlicas que existe uma diversidade de maneiras de se pensar a evolução do papel atribuído à pesquisa avaliativa, desde o boom da avaliação de políticas públicas nos Estados Unidos, principalmente após a década de 1960.

Uma classificação é fornecida por Derlien (2001). Ele parte da distinção das três funções básicas atribuídas à avaliação — informação, realocação e legitimação — para dividir em três as fases evolutivas das pesquisas de avaliação, dos anos 1960 aos anos de 1990. Nos anos 1960, a ênfase política sobre a avaliação de políticas públicas preponderou sobre a função de informação. O foco era a melhoria dos programas, e os gerentes tinham interesse em usar a avaliação como mecanismo de feedback. A função (re)alocação foi predominante nos anos 1980, durante a segunda etapa de institucionalização, a qual estava claramente destinada a promover uma alocação racional de recursos no processo orçamentário (Derlien, 2001; Ala-Harja e Helgason, 2000).

Durante a década de 1990, a tônica política na avaliação de políticas passa a ser a função de legitimação. Esse deslocamento, segundo Derlien (2001) e Faria (2005), teria sido causado por fatores político-econômicos específicos, havendo também uma mudança dos atores dominantes. A influência da nova administração pública é percebida na década de 1990, quando os avaliadores se convertem em auditores que privilegiam a medição dos resultados. Assim, a avaliação é substituída (novos mercados internos surgem como avaliadores intrínsecos), complementada (a regulamentação de monopólios privatizados cria uma enorme demanda por avaliações) e aplicada a novas questões (novas ferramentas de avaliação, como os contratos) (Faria, 2005; Ala-Harja e Helgason, 2000).

A partir dos anos 1990, na América Latina, ocorre um questionamento crescente sobre o tamanho e a eficiência do setor público. Daí surgiram novas iniciativas para desenhar e pôr em marcha processos de avaliação (Mokate, 2002). Para Faria (2005), nas décadas de 1980 e 1990, a avaliação das políticas públicas foi posta a serviço da reforma do setor público, entretanto, a avaliação não se circunscreve a um tipo específico de Estado ou cultura administrativa.

Faria (2005:9) assinala que o desenho das reformas do setor público privilegiou dois supostos básicos:

a adoção de uma perspectiva de contenção dos gastos públicos, de busca de melhoria da eficiência e da produtividade, de ampliação da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximização da transparência da gestão pública e de responsabilização dos gestores, em um processo no qual o “consumidor” dos bens e serviços públicos estaria, supostamente, em primeiro plano. O segundo propósito ou expectativa é de

538andrei piTTol Trevisan • Hans micHael van Bellen que tais reformas pudessem contribuir para uma reavaliação da pertinência das organizações governamentais preservarem todo o seu leque tradicional de atribuições, prevalecendo um contexto de valorização da provisão privada de bens e serviços.

Assim, a avaliação ganha centralidade porque se esperava que garantisse a credibilidade do processo de reforma e sustentabilidade política das diretrizes de desregulamentação e de diminuição do tamanho do governo, seja pelo deslocamento das funções e dos serviços para as esferas subnacionais, quer pela via da privatização (Ala-Harja e Helgason, 2000; Faria, 2005).

4. Do “estado do campo” de avaliação de políticas públicas

Como já descrito, a avaliação tem um papel de destaque nas reformas do setor público, assim como tem estado cada vez mais presente nos processos de análise das políticas públicas. Cabe destacar, contudo, que tal como no caso do movimento da nova administração pública, as avaliações de políticas passam atualmente por uma fase de críticas ao “gerencialismo” de suas concepções.

Wiesner Duran (citado por Mokate, 2002:90) chama a avaliação de “proxy do mercado na administração pública”. Tal como apontado por Misoczky (2004), Faria (2005) reconhece a “hegemonia inconteste da perspectiva ‘gerencialista’” nas discussões sobre políticas públicas (no geral) e avaliação de políticas (em específico). De acordo com esse autor, a nova ênfase dada à avaliação de políticas públicas passa quase que despercebida (pelo menos sem interesse acadêmico equivalente) pelas áreas de sociologia e ciência política, no sentido de se abrirem novos campos de pesquisa. Por outro lado, no campo da administração pública o tema é freqüente e pode ser consultado, por exemplo, em periódicos nacionais como a Revista do Serviço Público e Revista de Administração Pública.4

Apesar disso, a escassez de estudos “pós-decisão” (Faria, 2003, 2005) pode ser explicada tanto pela frágil institucionalização da área no Brasil (o que faz com que a análise de políticas públicas continue imersa nas questões analíticas tradicionalmente valorizadas pela ciência política), quanto pela “debilidade do campo de estudos da administração pública no país” (Faria, 2003:2). Outras instituições também têm encampado a temática, tais como o Ipea, a Fundação Seade e a Fundação Carlos Chagas.

539avaliação de políTicas púBlicas

Assim, une-se à crítica esposada a notória carência de estudos dedicados aos processos e às metodologias de avaliação, que é atribuída por Faria (2003) à rara utilização da avaliação, como instrumento de gestão, pelo setor público do Brasil nas três esferas de governo. Nessa linha, se a própria avaliação tem sido relegada, o papel das idéias e do conhecimento no processo das políticas públicas tem passado praticamente em branco no país (Faria, 2003).

Se, como reverbera na literatura em políticas públicas, a avaliação tem o condão de aumentar a eficiência e eficácia do setor público, é relevante mencionar que a avaliação “ainda não logrou um papel significativo ou estratégico dentro do trabalho de desenhar e implementar estratégias, programas ou projetos” (Mokate, 2002:90). Em outras palavras, apesar do reconhecimento da avaliação como importante ferramenta, ela não se converteu em um processo indispensável que tome parte do processo de gestão (Cotta, 2001; Garcia, 2001; Mokate, 2002; Faria, 2005).

Conforme Ala-Harja e Helgason (2000), as avaliações são malvistas porque representam um universo de muitas promessas e poucas realizações. Para alguns setores, a avaliação corresponde a um novo modismo, gerador de burocracia e poucos resultados.

Cotta (2001) reconhece que o simples fato de realizar uma avaliação não significa, automaticamente, que as informações produzidas serão utilizadas. Dessa forma, para essa autora, uma resposta à posição apresentada por Ala-Harja e Helgason (2000) é que o principal motivo pelo qual a avaliação geralmente não atende às expectativas que cria é a presunção de que as condições para o aproveitamento desse tipo de informação estão dadas. “Ocorre justamente o contrário: a avaliação é uma atividade que, por suas próprias características, exige que essas condições sejam intencional e meticulosamente criadas, sob pena de comprometer todo o esforço despendido” (Cotta, 2001:94).

Faria (2005:102) aponta outros possíveis fatores que podem interferir na utilização dos resultados da avaliação: existência de crenças e interesses conflitantes na organização que gerencia o programa; ocorrência de conflitos de interesses entre as distintas unidades do programa; mudanças no pessoal encarregado (exemplo, novatos têm prioridades diferentes daquelas vigentes no início da avaliação); eventual inflexibilidade das regras e dos padrões operacionais da organização, que pode impedir a adoção das recomendações feitas quando da avaliação; mudanças nas condições externas, tais como cortes orçamentários e alterações no ambiente político.

Uma vez superados os fatores impeditivos da utilização da avaliação, Faria (2005) distingue quatro tipos de uso da avaliação:

540andrei piTTol Trevisan • Hans micHael van Bellen t instrumental — depende não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados, sua inteligibilidade e da factibilidade das recomendações propostas; t conceitual — as descobertas da avaliação podem alterar a maneira como esses técnicos entendem a natureza, o modo de operação e o impacto do programa que implementam. Nenhuma decisão ou ação é esperada, pelo menos não imediatamente; t instrumento de persuasão — quando a avaliação é utilizada para mobilizar o apoio para a posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa; t “esclarecimento” — “acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacy coalitions, bem como alterações nas crenças e na forma de ação das instituições” (Faria, 2005:103), orientando a agenda governamental.

Referente aos usos da avaliação, além dos diretamente envolvidos nos programas, diversos outros usuários podem se valer das descobertas da avaliação: gerentes de programas similares e/ou de diferentes níveis governamentais; agentes do governo e representantes de fundações, interessados em conhecer projetos bem-sucedidos que mereçam financiamento ou preocupados em aprimorar os programas dos quais são responsáveis; membros do Legislativo interessados na melhoria de programas existentes ou na elaboração de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas (Faria, 2005).

Por fim, o interessado final é o público em geral ou a sociedade civil, a qual o governo deve ser accountable for. Dessa forma, os relatórios das avaliações podem servir tanto para divulgação, quanto para fomento do debate público em torno das alternativas de intervenção governamental em uma dada realidade social.

5. Metodologia de avaliação de políticas públicas

De acordo com Faria (2005), parte significativa dos estudos sobre os processos de avaliação de políticas públicas desde a década de 1960 refere-se às questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação. Para Cotta (2001:91), a avaliação tem sido classificada “em fun-

541avaliação de políTicas púBlicas ção do seu timing (antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processo e resultados)”.

Sem ordem de principalidade, uma das primeiras observações remete à diferenciação entre o timing da avaliação. A avaliação antes (ex ante) sempre foi muito estimulada e induzida nos programas financiados pelos organismos multilaterais de financiamento, especialmente aqueles voltados à infra-estrutura econômica e ao desenvolvimento urbano. Essas avaliações consistem em análises de custo-benefício, de custo-efetividade, das taxas de retorno econômico dos investimentos previstos (Lobo, 1998).

A avaliação intermediária, também chamada de formativa, é conduzida durante a implementação de um programa como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O objetivo é dar suporte e melhorar a gestão, a implementação e o desenvolvimento do programa. A ênfase é dada à aplicabilidade direta dos resultados (Ala-Harja e Helgason, 2000).

As avaliações posteriores à implementação do programa são chamadas ex post ou somativas, e visam trabalhar com impactos e processos, portanto, estuda-se a eficácia e o julgamento do valor geral do programa. A objetividade e a credibilidade dos achados são mais importantes que a aplicabilidade direta dos resultados (Lobo, 1998; Ala-Harja e Helgason, 2000).

No que diz respeito à posição do avaliador ante o objeto avaliado, Arretche (1998) defende que, porque destinadas a exercer controle sobre as intervenções públicas, seja dos cidadãos sobre o governo, seja do governo sobre si mesmo, as avaliações precisam ser conduzidas por órgãos independentes. O ponto em questão é a neutralidade da avaliação. Para a autora, é muito difícil que avaliações realizadas pelas próprias equipes governamentais encarregadas da execução de uma dada política sejam críveis e isentas (embora a neutralidade absoluta seja impossível).

Há uma série de incentivos para que tais avaliações concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus elementos de fracasso. Tais razões vão desde a manutenção dos próprios empregos até o interesse das burocracias em aumentar suas margens de poder e de gasto. Por isso, é mais difícil que tais “avaliações” tenham em geral valor avaliativo, ainda que possam ser bons instrumentos de pesquisa para estudos de avaliação, mais particularmente avaliações de eficácia (Arretche, 1998:37-38).

É impossível prevenir erros em julgamentos ou tendências na forma como o homem pensa ou age. Em vista disto, Henry (2002) defende que o ide-

542andrei piTTol Trevisan • Hans micHael van Bellen al é tornar as decisões transparentes e identificar os participantes nas decisões e suas afiliações ideológicas. Com essas informações em mãos as tendências podem ser confrontadas. O mesmo deve valer para os resultados de avaliações que, além da transparência, devem ser amplamente disponíveis, com descrição do desenho do estudo e os processos.

Henry (2002) oferece pelo menos duas razões para transparência dos processos de avaliação de políticas públicas. O primeiro motivo é o aprendizado decorrente do trabalho de outros pesquisadores, substantiva e metodologicamente. De acordo com o autor (2002:424), “evaluation reports should make the methods for systematic inquiry transparent, as the best reports do currently”. A segunda razão apontada é demonstrar mais sistematicamente os benefícios de processos específicos que podem ser usados para selecionar indicadores de sucesso, como diálogos deliberativos, negociações com os usuários ou stakeholders.

Nas palavras de Henry (2002:421), “to stand up in the contentious environs of modern democracies, evaluation must be perceived as producing credible information that is not unduly biased by its sponsor or by bad decisions of the evaluator (...)”. Continuando com Henry (2002:425)

Without making evaluations transparent, we are forced into arguments that can gain no traction because of information asymmetry; that is, those who have used the approaches have complete control over what information is available to those who are considering the use or adaptation of the approaches.

Assim, as avaliações podem ser discutidas em uma arena pública, onde os cidadãos têm pleno acesso às informações, à metodologia empregada e aos resultados alcançados. A avaliação torna-se, assim, um verdadeiro instrumento democrático de controle sobre a ação dos governos (Arretche, 1998).

Arretche (1998) assevera que a literatura de avaliação de políticas públicas costuma distingui-la em termos de sua eficácia, eficiência e efetividade, recurso analítico destinado a separar aspectos distintos dos objetivos, da abordagem e dos métodos e técnicas de avaliação.

Uma postura mais abrangente sobre a metodologia de avaliação de políticas públicas é exposta por Costa e Castanhar (2003). Os autores partem do pressuposto que se avaliação é uma forma de mensuração, de julgamento de valor, é preciso estabelecer, antes de tudo, os critérios de avaliação, e nesse ponto não há consenso sobre aspectos metodológicos e conceituais. O que existe é um autêntico “emaranhado conceitual”.

543avaliação de políTicas púBlicas

A lista de critérios é longa e a escolha de um, ou vários deles, depende do que se deseja privilegiar na avaliação. Com fulcro no manual da Unicef,5 Costa e Castanhar (2003:973) listam os mais comuns: eficiência, eficácia, impacto (efetividade), sustentabilidade, análise custo-efetividade, satisfação do usuário, eqüidade.

No entanto, a aplicação dos critérios depende de operacionalização para identificação e quantificação dos resultados obtidos. A operacionalização pode ser feita, segundo Costa e Castanhar (2003), por meio de indicadores. O termo indicador é derivado da palavra latina indicare, que significa “tornar patente; demonstrar, revelar, denotar; expor” (Ferreira, 1999). Para a OCDE, um indicador deve ser compreendido como um parâmetro, ou valor derivado de parâmetros que forneçam informações sobre o estado de um fenômeno, com uma extensão significativa (van Bellen, 2005).

Tendo em mente os critérios e indicadores a serem utilizados, resta fazer as comparações com o referencial, tal como aludido por Garcia (2001). Os padrões de referência para guiar a avaliação podem ser classificados em: absolutos (as metas estabelecidas são consideradas como o padrão a ser alcançado), históricos (comparação dos resultados ao longo do tempo), normativos (comparação do desempenho com programas similares ou semelhantes), teóricos (estabelecidos na própria elaboração do programa, sob a hipótese da obtenção dos resultados planejados), negociados ou de compromisso (baseiam-se em algum procedimento específico para sua fixação, normalmente decorrente de consensos entre as partes envolvidas na gestão e os formuladores) (Costa e Castanhar, 2003).

O desenho de um programa público pode ser sintetizado em uma seqüência de definições correspondentes a graus sucessivos de agregação de objetivos. A tradição brasileira costuma organizar, segundo Costa e Castanhar (2003), de maneira hierarquizada, a seqüência de compromissos de um programa público da seguinte forma: propósito > objetivo > meta > atividade.

Atualmente maior atenção tem sido dada a uma metodologia de estruturação de políticas públicas chamada metodologia do marco lógico.6 Esta metodologia parte da concepção de políticas públicas como processos ar- ticulados e estabelece os recursos que configuram a política pública, seus The United Nations Children’s Fund (em português, Fundo das Nações Unidas para a Infân- cia). Também chamada de matriz lógica (Costa e Castanhar, 2003) e marco conceitual (Mokate, 2002).

544andrei piTTol Trevisan • Hans micHael van Bellen programas e projetos, e encadeiam as etapas de um mesmo programa, desde o diagnóstico da população-alvo até a definição de critérios para intervenção (Carvalho, 2003).

A ferramenta de base se estrutura em forma de uma matriz de organização: de um lado ficam os objetivos, indicadores, meios de aferição e fatores externos a influenciar os resultados do programa; de outro, a especificação dos objetivos geral e específicos, componentes e atividades (Carvalho, 2003).

Outra forma de se estruturar a matriz lógica é dada por Costa e Castanhar (2003): começa-se pela identificação dos objetivos gerais e específicos do programa e dos indicadores pelos quais o programa será avaliado, assim como a identificação das fontes de dados que serão usadas para as mensurações, comparações e análises. Num segundo momento volta-se para a identificação dos recursos (financeiros, humanos, infra-estrutura) alocados ao programa, as atividades previstas, os resultados esperados e as relações causais que a teoria por trás do programa pressupõe que podem ser atingidas.

Um exemplo de modelo lógico, para primeira etapa descrita por esses autores, relacionando objetivo do projeto, variáveis operacionais, indicadores, informação necessária e forma de obtenção dos dados é apresentado na tabela 1.

Tabela 1 Exemplo parcial da primeira etapa do modelo lógico

Objetivo Variável Indicador

(Parte 2 de 4)

Comentários