Palestra proferida pelo Professor Italiano na Assembléia Legislativa do Estado do Rio Grande do Sul, em 09 de junho de 2006, quando da sua única vinda ao Brasil para participar de debates envolvendo democracia, políticas publicas e participação popular.
Por Luigi Bobbio
O tema é a avaliação das políticas públicas. Tradicionalmente as políticas públicas não eram avaliadas, e nem nos perguntávamos que resultados elas tinham alcançado efetivamente. Também na Itália é muito recente a proposta de avaliar os resultados das políticas públicas e acredito que também seja no Brasil porque a idéia tradicional que denomino de otimista e ingênua era de que se pensava que a utilidade das políticas públicas, de qualquer modo, fosse dada por descontadas.
Tinham grande conflito sobre quais as ações estatais que deveriam ser implementadas, por exemplo, no Parlamento por partidos políticos, na sociedade, mas escassa atenção sobre os efeitos das políticas públicas quando elas eram realizadas.
O debate político era fortemente ideológico e pouco atento às consequências reais da sociedade sobre as políticas públicas. E, todavia, em todas as políticas públicas existe uma notável incerteza sobre a relação causa e efeito. A causa seria a medida, a norma, os recursos destinados e os efeitos são as alterações sociais, alterações na sociedade, produzidas pelas políticas públicas.
Não conseguimos avaliar concretamente se as ações estatais, programas e políticas públicas produzirão efeitos ou resultados no futuro.
Dito em outros termos: a avaliação das políticas públicas nasce de uma dúvida.
A dúvida é descobrir se as políticas públicas implementadas conseguem alcançar os objetivos desejados. Podem existir efeitos inesperados, diferentes daqueles que esperávamos, podem existir também efeitos não desejados, contrários às expectativas. Podemos nos perguntar, por exemplo: as políticas para o desenvolvimento ajudam realmente ao desenvolvimento? Ou podemos questionar se as políticas para terminar com a pobreza, conseguem melhorar a situação?
Essa é a dúvida.
Então, o problema é procurar avaliá-la para eventualmente aprender a modificar e corrigir os rumos das políticas públicas. Para conceituá-la, podemos dizer que uma avaliação significa extrair juízos empiricamente fundados sobre o sucesso obtido por uma política pública no afrontar um especifico problema coletivo.
E se não melhorou é preciso verificar o que precisa ser corrigido.
Em síntese podemos perguntar: A política pública funciona? Essa é a pergunta.
Para complementar essa dúvida, apresento, mesmo que rapidamente, seis questões sobre o tema da avaliação:
A primeira questão: O que avaliar, a política ou os serviços? Nesse momento, na Itália, mas talvez também no Brasil, seguidamente fazemos confusão entre avaliação das políticas públicas e avaliação dos serviços públicos. Qual é a diferença? Essa confusão foi introduzida pelo sucessoNew Public Manegement que introduziu o problema de aplicar as técnicas de gestão do setor privado na Administração Pública.
Então a pergunta foi elaborada no seguinte sentido: o que as Administrações Públicas produzem? A iniciativa privada sabe que produz bens e serviços. A resposta foi que as Administrações Públicas produzem serviços; serviços sanitários, transportes, escolas. Mas, as Administrações Públicas não produzem somente serviços, produzem também políticas públicas e o que entendo por política públicas? Que são medidas para alterar qualquer aspecto da sociedade e para resolver os problemas coletivos. Avaliar um serviço significa analisar se o serviço é produzido de maneira eficiente, se os usuários estão satisfeitos, se os usuários obtêm o serviço sem ficar muito tempo na fila, se tem custos acessíveis, etc. Avaliar um serviço é importantíssimo para saber se eles funcionam ou não funcionam.
Mas se nós nos colocamos na ótica de avaliar as políticas, então isso significa observar se foram produzidas alterações sociais, o que é diferente. Uma coisa é dizer que os serviços foram fornecidos, outra é dizer que resolvemos problemas públicos.
Conclusão número um: Se quisermos avaliar uma política, não é suficiente dizer que um serviço foi fornecido de maneira correta e se os usuários estão satisfeitos. É necessário ver se mudou alguma coisa na sociedade e como ela mudou.
Segunda questão: A relação dos efeitos, as alterações ou modificações. Os efeitos são tantos. O cientista político norte-americano David Easton fez uma comparação de uma política pública. Ele comparou a política pública a uma pedra jogada num pequeno lago. Criam-se círculos, o lago seria a sociedade e a pedra seria a medida que foi adotada pelo governo para alterar alguma coisa. O ponto onde a pedra caía no lago, nós podemos chamar de “o produto da administração”, por exemplo, gasto dos recursos. Mas o importante é analisar esses círculos que irão se produzir no lago e é claro que os círculos quanto mais se difundem na sociedade, mais difícil de vê-los. O ponto que nos interessa, sobretudo, são os círculos mais distantes.
Poderíamos ter concessão de subsídios às empresas, autorizações, estabelecimento de um limite de poluentes. Depois dessas medidas pode ser que as empresas renovem seus equipamentos, por exemplo, colocando filtros contra a poluição. No passo sucessivo, é provável que tenha menores emissões de poluentes. Pode ser que ocorram menores concentrações de poluentes no ar, e no final pode ser que existam menores patologias respiratórias.
Essa é a corrente dos efeitos, mas qual o foco da questão? Nós podemos chamar a primeira questão que sai da Administração Pública, o produto. Qual é o problema? O problema é que normalmente as Administrações Públicas olham somente aquilo que sai deles, portanto dizem: “nós estamos contentes porque aumentamos os gastos na batalha contra a pobreza”. Mas, nós precisamos ver no final das contas o que aconteceu com essas pessoas em situação de vulnerabilidade social. O grande problema é que as Administrações Públicas visualizam somente o que eles produziram, mas nós precisamos olhar muito mais longe, os resultados disso.
Conclusão número dois – Se queremos avaliar uma política, temos que olhar para longe, e é difícil, normalmente é mais fácil olhar para perto do que para longe. Seguidamente as Administrações Públicas se contentam de olhar próximo, próximo demais.
Terceira questão – O Problema da Imputação.
Vamos procurar olhar os efeitos ao longo do período. Nós podemos partir de uma certa hipótese: uma medida “x” gerar o efeito “y”, por exemplo, uma medida favorável ao meio ambiente que gera uma situação “X”. Nós tendemos a dizer se pegamos a medida X, ocasionou Y. Porém, pode ser que as coisas não sejam assim. Por exemplo, certa ação estatal que tem busca favorecer o aumento do número de empregos formais, nós podemos dizer que a medida teve sucesso. Isso muito seguidamente alguns governos dizem: “Nós tomamos essa medida e aumentou o emprego”.
Qual é a operação errada que é feita? É de dizer: aumentou a ocupação, então é mérito nosso, é mérito da política. Porém, poderia perfeitamente ser mérito de alguma coisa pública, poderia ter um fator “Z” que teve influência sobre a ocupação, poderia ser a melhora geral da situação econômica.
O efeito da ocupação é um efeito bruto. É necessário ver qual é o efeito líquido derivado da política. Faço um exemplo mais simples para entendermos: a pontuação na carteira de motorista.
No ano de 2002, foi introduzida na Itália a pontuação e praticamente um ano depois os jornais noticiaram se tratar de um sucesso extraordinário. O impacto na redução dos acidentes nas estradas foi enorme. Os dados comprovaram que, do segundo semestre de 2002 e segundo semestre de 2003, houve uma significativa redução de mortos e feridos no trânsito. Mas, a redução dos mortos e feridos é realmente mérito da pontuação na carteira? Ninguém colocou isso em discussão, todo mundo dizia que o grande mérito era o do governo de ter colocado a pontuação nas carteiras.
Para termos uma idéia, meu colega pesquisador Lucca Ricorsi fez um estudo sobre essa questão e, dos dados que ele analisou e estudou, descobriu que provavelmente a redução do número de acidentes nas estradas e de mortos ocorreu principalmente no verão. E esta redução ocorreu porque os italianos foram menos às praias, porque tinham menos dinheiro. Em outras palavras, foi a diminuição do tráfego e não o medo de levar os pontos na carteira que gerou essa redução. Em outras palavras, a hipótese que foi divulgada pela mídia italiana, a pontuação na carteira seria nosso “X” e menos acidentes seria “Y” estava equivocada.
A hipótese de Lucca Ricorsi é que essa relação não existe, é muito fraca e o que realmente conta é quanto menor a quantidade de pessoas que saem em férias, menor a quantidade de acidentes no trânsito.
Retomando este ponto: o erro sobre este tipo de problema que é feito muito seguidamente pelos políticos é dizer: “melhorou a economia, é mérito meu, é mérito as minhas políticas”. Também a mídia também faz continuamente esses erros.
Então, avaliar a política é procurar entender qual o verdadeiro efeito da política. É muito complicado, mas existem técnicas específicas para procurar saber quais são os efeitos líquidos.
Conclusão número três: se queremos avaliar o impacto de uma política é inútil recolher milhares de dados sobre os indicadores. Temos, pelo contrário, que analisar quais os efeitos que são efetivamente imputados na política. Não se trata de analisar sobre muitos dados, mas sobre os dados pertinentes, de se fazer as perguntas certas.
Questão quatro: estabelecer uma relação entre certa política e certo efeito social.
Não significa que conseguiremos entender através de quais mecanismos esses efeitos são produzidos. Ou seja, temos uma relação estatística entre “x” e “y”, mas o que existem entre isso, qual são os mecanismos que permitiram a passagem de ‘x” para “y”. Por isso, precisaríamos de desenhos de pesquisas mais complexas e qualitativas para estudar o processo que levou de “x” à “y”, da medida adota aos resultados. Em outras palavras, nós temos que estudar implementação, se precisa fazer a pesquisa de campo: isso é muito complicado, pois é necessário entrevistar os vários atores.
Essa pesquisa tem que ser feita de maneira participativa com os atores envolvidos para entender que significado eles atribuíram a essa política.
A avaliação do processo é uma pesquisa estratégia de pesquisa particularmente adaptada para políticas complexas que se propõe a resultados de natureza diferente não facilmente quantificada.
Se o objetivo é reduzir as mortes nas estradas é bastante fácil tecnicamente, pois é só contar o número de mortes e comparar se a redução é imputável à política. Se por outro lado, devo avaliar uma política mais complexa, como por exemplo, o programa de requalificação urbana num bairro pobre, os objetivos podem ser muitos e pode ir desde a melhoria na qualidade de vida ao desenvolvimento da economia local. Nesse sentido, é muito difícil encontrar esses efeitos, porquanto é preciso entender o que aconteceu.
Conclusão número quatro: para entender bem aquilo que aconteceu, precisamos estudar o processo que levou a certos resultados. A análise do processo é muito mais do tipo sociológico.
Questão cinco: a avaliação é capaz de fornecer juízos objetivos e não controvertidos?
Uma vez feitos esses estudos podemos dizer “as coisas estão realmente assim? A resposta é não. Não podemos nos iludir de que podemos dar respostas definitivas sobre temas deste gênero. Mas é muito importante que a gente tente dar alguma resposta, sem a pretensão que seja a verdade, mas porque isso ajuda de qualquer forma a melhorar o debate público.
Conclusão número cinco: a avaliação não tem a finalidade de dizer a verdade, mas de fornecer argumentos para o debate público e de ajudar o público a discutir e também os políticos, naturalmente.
A idéia seria que através da avaliação das políticas todos podemos entender melhor como funcionam as políticas públicas e procurar corrigi-las.
Ultimo ponto: A avaliação serve para alguma coisa?
O objetivo da avaliação é produzir conhecimento utilizável para corrigir e melhorar as políticas. Utilizável pelos políticos, pelos Gestores e Administradores Públicos que são quem fazem as leis ou desenham as políticas públicas.
Atenção, seguidamente aquilo que nós encontramos são resultados que trazem uma desilusão. Quando avaliamos uma política pública nos damos conta que muitos dos objetivos que o governo tinha previsto não foram alcançados. Ou seja, é muito fácil encontrar qualquer coisa que não tenha funcionado.
Alterar uma sociedade é difícil, existem resistências de todos os tipos, dificuldades burocráticas, resistências burocráticas, interesses contrários. E por isso, temos que saber que muito dos resultados que encontraremos, não serão excepcionais. A implementação é sempre incompleta, tem sempre uma escassa relação entre as normas e os resultados finais. Isso é importante, acontece na Itália, acontece no Brasil, acontece em qualquer lugar. Não acreditem que existem países que não conseguem fazer tudo aquilo que querem.
Isso é um ponto importante porque, quando vemos resultados modestos nós não temos que pensar que houve um fracasso, mas temos que saber que um pouco se pode errar. É impossível fazer uma política pública sem ter erros. Então, seria interessante observar os aspectos positivos. Não temos que perguntar, mas como a política fracassou, mas perguntar como fazemos para uma política funcionar. Essa é a pergunta que devemos fazer.
Conclusão número seis e última: observar quais os efeitos positivos ainda que eles sejam poucos, entender quais são os fatores que facilitam a atuação de uma política. Avaliar para aprender e não para se desencorajar.
Para terminar uma pequena proposta: um projeto que estamos fazendo na Itália com as Assembléias Estaduais, um pouco correspondente a esta, mais ou menos, é aquela de forçar o Parlamento a inserir nas leis uma cláusula de avaliação. Nas leis importantes, naturalmente, aquelas que contam, que são duas ou três ao ano, quatro ou cinco no máximo.
A cláusula avaliativa é um artigo da lei que indica quais efeitos da lei devem ser avaliados, estabelecendo como e quando. Ou seja, daqui há um ano, ou dois e quem fará essa avaliação.
Geralmente é melhor deixar passar um pouco de tempo, muito cedo é difícil avaliar e deve destinar recursos específicos.
As pesquisas de avaliação são importantes para correção e melhora de determinada política pública.
Tradução: Marcelo Sgarbossa e Cristiano Lange dos Santos. Com a colaboração de Darowich Mohamed Makki.
Nenhum comentário:
Postar um comentário