jump to navigation

Yes, we can´t 07/08/2009

Posted by gxexeo in Opinião, Reportagem.
Tags: , ,
10 comments

Assisti, hoje, palestra do Prof. Lívio Amaral, Diretor de Avaliação da CAPES .  A palestra foi destinada a coordenadores e diretores de pós-graduação da UFRJ. Mostrando bastante conhecimento e competência sobre o assunto, provavelmente por estar envolvido com o processo de avaliação já há algum tempo, foi bastante simpático à platéia, porém pouca esperança nos deu de que as coisas podem melhorar.

Ao contrário do que esperavam alguns, nós, coordenadores fomos muito educados. Eu, pelo menos, recebi uma reclamação que “bati pouco” enquanto fazia minha pergunta. Para completar, por um acaso do momento, não consegui obter minha resposta.

Ao sair de lá e considerar as apresentações e as perguntas sendo feitas, ficou claro que o grande problema é que a avaliação CAPES não existe mais. O que existe é a medida de quantos artigos foram publicados dentro dos estratos do Qualis.

Qual o problema? Bem, de saída incentivar a publicação científica não é nem um dos objetivos da CAPES! Seu principal objetivo é a formação de recursos humanos de alto nível. E alguém já viu o impacto disso na ficha de avaliação?

Todos estão preocupados com o Qualis, e claramente todos estão sendo compelidos a conformar os programas que gerem para atendê-lo. Os cursos novos estão montando seus quadros de maneira pragmática, para obter pontos e serem aprovados. Os cursos antigos estão reorganizando seus quadros, excluindo e incluindo professores, discutindo o que fazer com os recém-contratados e até mesmo, como me foi narrado por uma coordenadora do Nordeste, enfrentando dissidências que acreditam ser capazes de montar um curso melhor avaliado se tiverem menos pesquisadores.

Considerando esse quadro, as questões acabam se resumindo em duas:

Como evitar que os programas de pós-graduação adotem uma abordagem pragmática e orientem sua estratégia de forma a atender as orientações do Qualis, que representam uma avaliação do passado e não uma direção para o futuro? Essa foi minha pergunta não respondida.

Não seria melhor que o Qualis fosse de “tal jeito”? Para essa pergunta, a resposta normalmente foi “Seria, mas é inviável”.

Ou seja, ao contrário de Obama, a CAPES responde “Yes, we can´t”.

Críticas ao Qualis no Congresso da SBC de 2009 28/07/2009

Posted by gxexeo in Opinião.
Tags: ,
4 comments

O Qualis apresenta várias distorções, algumas discutidas nos artigos “A Escala da Discórdia” da revista Pesquisa  FAPESP e no editoral da CLINICS “O novo Qualis, ou a tragédia anunciada”, outras tratadas no Congresso da SBC.

Talvez a distorção mais grave seja em relação ao uso direto, isto é, sem nenhum tratamento, do fator de impacto. O problema é que o fator de impacto não é igualmente distribuído entre as áreas ou sub-áreas. Assim, um periódico de uma área teórica em computação normalmente terá menor impacto que um periódico de uma área mais aplicada. Isso pode prejudicar (ou beneficiar) fortemente programas onde as linhas de pesquisa já se encontram direcionadas. Essa característica acontece em todas as áreas e é provavelmente a crítica mais importante, pois devido ao uso indevido do Qualis para orientar o trabalho e avaliação das pessoas, como veremos mais adiante, pode, mesmo a curto prazo, eliminar totalmente áreas de pesquisa ou alienar pesquisadores ligados a essas áreas.

Esse problema é difícil de resolver, mas a Área de Computação, em sua proposta ainda não aprovada, conseguiu calcular um índice de correção que visa diminuir essa distorção. Depois de algumas análises, foram escolhidas 3 sub-divisões, cada uma possuindo um índice de correção a ser aplicado sobre o valor JCR de uma publicação da área. É importante notar que esse índice diminui apenas algumas distorções, e apenas na média.

Outra distorção é o fato de que o Qualis sempre olha para o passado, isto é, ele avalia as publicações já feitas. Isso pode ser corrigido pelo Coordenador de Área, que tem o direito de sugerir novos veículos para a lista com a finalidade de induzir a publicação nos mesmos, porém deve ser feito caso a caso. Não é possível adicionar “todos os veículos” na lista Qualis por vários motivos, como a necessidade de existir um fator de impacto, a constante criação de novos veículos e o trabalho necessário.

Uma terceira distorção é o fato do Qualis não considerar a qualidade da publicação. Isso afeta diretamente a base do Qualis como método. Dessa forma, na avaliação Qualis, um bom artigo em uma revista de fator de impacto mediano será sempre avaliado com menos pontos que um artigo simples em uma revista de fator de impacto alto. E ainda assim, estamos confundindo fator de impacto com qualidade, já que podemos encontrar casos onde o fator de impacto não reflete a qualidade acadêmica da publicação ou a profundidade dos seus artigos. Talvez o problema mais discutido no Fórum tenha sido o uso indevido do Qualis na avaliação de pesquisadores, principalmente nas avaliações internas.

Deve ficar claro que ele “foi concebido pela CAPES para atender a necessidades específicas do sistema de avaliação”. O próprio diretor de avaliação da CAPES, Prof. Livio Amaral, disse em entrevista para a Revista da FAPEST: “O uso do Qualis Periódicos é totalmente inadequado na avaliação de pesquisadores. Ele se destina à análise de programas de pós-graduação, e não de pesquisadores individualmente”. Essa opinião foi consenso no último Congresso da Sociedade Brasileira de Computação (SBC), sendo várias vezes repetidas pelo Coordenador de Área, prof. Edmundo Silva, por membros da Comissão de Área do CNPq, e pela diretoria da SBC.

Em relação a esse ponto, os coordenadores do Fórum levantaram vários questionamentos. Basicamente, os programas são avaliados pelo Qualis, então a tendência é que a avaliação interna de pessoas se dê também pelo Qualis. Os coordenadores passam a se sentir na obrigação de incentivar os professores a publicar em periódicos bem classificados no Qualis, para melhorar a avaliação do programa. Novamente, a mensagem do prof. Edmundo Silva foi: isso é um erro, os pesquisadores devem ser julgados de forma global. Na mesma reunião o Prof. Palazzo afirmou que as avaliações do CNPq são globais. A recomendação geral é que, na avaliação de pessoas, as publicações sejam analisadas quanto a sua relevância. A idéia básica é que se todos publicarem “bem”, resultará que várias dessas publicações estarão no Qualis.

Por outro lado, seguir a filosofia de que o não se deve procurar o Qualis funciona bem melhor para os programas grandes, pois com muitos professores a probabilidade de se publicar em um veículo classificado no Qualis acaba sendo alta. Os programas pequenos, porém, afirmam que se não focalizarem especificamente em produzir para veículos bem classificados no Qualis, acabarão com todas suas publicações não avaliadas. Esse problema é sério, pois mostra o Qualis como indutor de pesquisas, quando ele foi projetado para avaliar o passado e não guiar o futuro.

No extremo, abandonaremos todas as áreas inovadoras ou de baixo impacto, mesmo se importantes. Além disso, como o Qualis usa a média para avaliar o programa (publicações dividida pelo número de professores atuantes), gera uma nova solução matemática para os programas: quanto menor o corpo docente, melhor pode ser sua classificação. Houve relatos importantes de programas onde há questionamento quanto à contratação de novos professores e também programas onde há a tentativa de cisão de um grupo, pois se isolando do programa original faria mais pontos na avaliação CAPES. Isso foi bem descrito por um coordenador que deu o seguinte exemplo: um programa com 10 pesquisadores excelentes faria mais pontos que um programa com 10 pesquisadores excelentes e 10 quase-excelentes, mas provavelmente o segundo seria melhor que o primeiro. Os cursos buscando aprovação inicial, principalmente, têm sido praticamente obrigados a diminuir seu corpo docente de maneira a atingir uma produtividade mais alta, excluindo do processo professores que certamente colaborariam para um curso melhor.

Todos esses problemas não são específicos da Computação. Algumas áreas, por exemplo, não trabalham com periódicos e esperam até hoje a definição do Qualis-Livros. Mas a nossa área ainda apresenta algumas características que nos diferenciam de todas as outras.