jump to navigation

Críticas ao Qualis no Congresso da SBC de 2009 28/07/2009

Posted by gxexeo in Opinião.
Tags: ,
trackback

O Qualis apresenta várias distorções, algumas discutidas nos artigos “A Escala da Discórdia” da revista Pesquisa  FAPESP e no editoral da CLINICS “O novo Qualis, ou a tragédia anunciada”, outras tratadas no Congresso da SBC.

Talvez a distorção mais grave seja em relação ao uso direto, isto é, sem nenhum tratamento, do fator de impacto. O problema é que o fator de impacto não é igualmente distribuído entre as áreas ou sub-áreas. Assim, um periódico de uma área teórica em computação normalmente terá menor impacto que um periódico de uma área mais aplicada. Isso pode prejudicar (ou beneficiar) fortemente programas onde as linhas de pesquisa já se encontram direcionadas. Essa característica acontece em todas as áreas e é provavelmente a crítica mais importante, pois devido ao uso indevido do Qualis para orientar o trabalho e avaliação das pessoas, como veremos mais adiante, pode, mesmo a curto prazo, eliminar totalmente áreas de pesquisa ou alienar pesquisadores ligados a essas áreas.

Esse problema é difícil de resolver, mas a Área de Computação, em sua proposta ainda não aprovada, conseguiu calcular um índice de correção que visa diminuir essa distorção. Depois de algumas análises, foram escolhidas 3 sub-divisões, cada uma possuindo um índice de correção a ser aplicado sobre o valor JCR de uma publicação da área. É importante notar que esse índice diminui apenas algumas distorções, e apenas na média.

Outra distorção é o fato de que o Qualis sempre olha para o passado, isto é, ele avalia as publicações já feitas. Isso pode ser corrigido pelo Coordenador de Área, que tem o direito de sugerir novos veículos para a lista com a finalidade de induzir a publicação nos mesmos, porém deve ser feito caso a caso. Não é possível adicionar “todos os veículos” na lista Qualis por vários motivos, como a necessidade de existir um fator de impacto, a constante criação de novos veículos e o trabalho necessário.

Uma terceira distorção é o fato do Qualis não considerar a qualidade da publicação. Isso afeta diretamente a base do Qualis como método. Dessa forma, na avaliação Qualis, um bom artigo em uma revista de fator de impacto mediano será sempre avaliado com menos pontos que um artigo simples em uma revista de fator de impacto alto. E ainda assim, estamos confundindo fator de impacto com qualidade, já que podemos encontrar casos onde o fator de impacto não reflete a qualidade acadêmica da publicação ou a profundidade dos seus artigos. Talvez o problema mais discutido no Fórum tenha sido o uso indevido do Qualis na avaliação de pesquisadores, principalmente nas avaliações internas.

Deve ficar claro que ele “foi concebido pela CAPES para atender a necessidades específicas do sistema de avaliação”. O próprio diretor de avaliação da CAPES, Prof. Livio Amaral, disse em entrevista para a Revista da FAPEST: “O uso do Qualis Periódicos é totalmente inadequado na avaliação de pesquisadores. Ele se destina à análise de programas de pós-graduação, e não de pesquisadores individualmente”. Essa opinião foi consenso no último Congresso da Sociedade Brasileira de Computação (SBC), sendo várias vezes repetidas pelo Coordenador de Área, prof. Edmundo Silva, por membros da Comissão de Área do CNPq, e pela diretoria da SBC.

Em relação a esse ponto, os coordenadores do Fórum levantaram vários questionamentos. Basicamente, os programas são avaliados pelo Qualis, então a tendência é que a avaliação interna de pessoas se dê também pelo Qualis. Os coordenadores passam a se sentir na obrigação de incentivar os professores a publicar em periódicos bem classificados no Qualis, para melhorar a avaliação do programa. Novamente, a mensagem do prof. Edmundo Silva foi: isso é um erro, os pesquisadores devem ser julgados de forma global. Na mesma reunião o Prof. Palazzo afirmou que as avaliações do CNPq são globais. A recomendação geral é que, na avaliação de pessoas, as publicações sejam analisadas quanto a sua relevância. A idéia básica é que se todos publicarem “bem”, resultará que várias dessas publicações estarão no Qualis.

Por outro lado, seguir a filosofia de que o não se deve procurar o Qualis funciona bem melhor para os programas grandes, pois com muitos professores a probabilidade de se publicar em um veículo classificado no Qualis acaba sendo alta. Os programas pequenos, porém, afirmam que se não focalizarem especificamente em produzir para veículos bem classificados no Qualis, acabarão com todas suas publicações não avaliadas. Esse problema é sério, pois mostra o Qualis como indutor de pesquisas, quando ele foi projetado para avaliar o passado e não guiar o futuro.

No extremo, abandonaremos todas as áreas inovadoras ou de baixo impacto, mesmo se importantes. Além disso, como o Qualis usa a média para avaliar o programa (publicações dividida pelo número de professores atuantes), gera uma nova solução matemática para os programas: quanto menor o corpo docente, melhor pode ser sua classificação. Houve relatos importantes de programas onde há questionamento quanto à contratação de novos professores e também programas onde há a tentativa de cisão de um grupo, pois se isolando do programa original faria mais pontos na avaliação CAPES. Isso foi bem descrito por um coordenador que deu o seguinte exemplo: um programa com 10 pesquisadores excelentes faria mais pontos que um programa com 10 pesquisadores excelentes e 10 quase-excelentes, mas provavelmente o segundo seria melhor que o primeiro. Os cursos buscando aprovação inicial, principalmente, têm sido praticamente obrigados a diminuir seu corpo docente de maneira a atingir uma produtividade mais alta, excluindo do processo professores que certamente colaborariam para um curso melhor.

Todos esses problemas não são específicos da Computação. Algumas áreas, por exemplo, não trabalham com periódicos e esperam até hoje a definição do Qualis-Livros. Mas a nossa área ainda apresenta algumas características que nos diferenciam de todas as outras.

Comentários»

1. Cristina Murta - 29/07/2009

O Qualis remete à classificação do conhecimento, tarefa tentada desde os primórdios da filosofia, há mais de 2500 anos. A mim me parece impossível.

Assim, cabe a questão: por que precisamos do Qualis? O problema parece estar no processo que indica a necessidade do Qualis, ou seja, a avaliação da PG. Olhando para o contexto internacional, para os países mais avançados em pesquisa: por que precisamos do Qualis e eles não?

E mais ainda: por que precisamos do Lattes? O Lattes é motivo de vergonha ou de orgulho para nós brasileiros? O que o Lattes tenta corrigir? Não é o caso de – de novo – um grande investimento no caminho errado? Isto é, em vez de investir em educação estamos tentando corrigir o que a educação não produziu no povo brasileiro?

2. José Palazzo M. de Oliveira - 29/07/2009

Prezada,

São duas coisas completamente diferentes. O Lattes é muito mais uma fonte de informação sobre pesquisadores. Aos poucos está sendo refinado com, por exemplo, a inclusão do DOI em artigos para verificação. Os orientados de um professor aparecem com um link para seu CV permitindo a verificação da qualidade de seus trabalhos. Eu passei pela mudança, na Comissão de PG, da UFRGS; o Lattes limpou muita imagem falsa criada pela “propaganda” pessoal. O Lattes uma ótima forma de transparência, ele não julga nada, apenas informa publicamente dados. Já o QUALIS está se tornando em uma obsessão, ou pior na forma de alguns grupos tentarem impor a sua visão do mundo para todas as áreas. Contra isto devemos nos revoltar.

3. Cristina Murta - 30/07/2009

Professor,

sim, eu entendo bem que são duas coisas diferentes. O Lattes é obrigatório e público, e o CNPq ainda pode fazer o que quiser com os seus dados. Eu apenas gostaria de saber como a comunidade internacional vê ou viria o Lattes se o conhecesse. Esta é a minha questão. É uma consideração importante pois a ciência é universal e nos demais países existe também a necessidade de comparar os CVs. Nestes tempos de globalização, as políticas nacionais ficam meio sem sentido para assuntos de relevância mundial tal como é a ciência.

4. Janaína - 27/03/2011

De fato o Qualis tem ajudado a distorcer e a impor a vontade de determinados grupos. A CAPES prejudica essencialmente o ensino, uma vez que as outras dimensões da tríade universitária não são consideradas. Efetivamente ninguém é contra a produção acadêmica e científica, mas existem outros valores que precisam ser melhor avaliado, por exemplo, a Extensão Universitária. Hoje o tema central dos programa de pós-graduação é forma pesquisadores – só isso basta ?. Não devemos formar também excelentes professores para o ensino básico e superior ?.

O Qualis em minha opinião é um sistema ainda baseado em numerologia mágica, pois não apresenta argumentos fortes para definir os parâmetros adotados, de modo, que fica obscuro, cabendo portanto diversos questionamentos e dúvidas que põe em xeque a credibilidade.


Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: