Críticas ao Qualis no Congresso da SBC de 2009 28/07/2009
Posted by gxexeo in Opinião.Tags: Qualis, SBC
4 comments
O Qualis apresenta várias distorções, algumas discutidas nos artigos “A Escala da Discórdia” da revista Pesquisa FAPESP e no editoral da CLINICS “O novo Qualis, ou a tragédia anunciada”, outras tratadas no Congresso da SBC.
Talvez a distorção mais grave seja em relação ao uso direto, isto é, sem nenhum tratamento, do fator de impacto. O problema é que o fator de impacto não é igualmente distribuído entre as áreas ou sub-áreas. Assim, um periódico de uma área teórica em computação normalmente terá menor impacto que um periódico de uma área mais aplicada. Isso pode prejudicar (ou beneficiar) fortemente programas onde as linhas de pesquisa já se encontram direcionadas. Essa característica acontece em todas as áreas e é provavelmente a crítica mais importante, pois devido ao uso indevido do Qualis para orientar o trabalho e avaliação das pessoas, como veremos mais adiante, pode, mesmo a curto prazo, eliminar totalmente áreas de pesquisa ou alienar pesquisadores ligados a essas áreas.
Esse problema é difícil de resolver, mas a Área de Computação, em sua proposta ainda não aprovada, conseguiu calcular um índice de correção que visa diminuir essa distorção. Depois de algumas análises, foram escolhidas 3 sub-divisões, cada uma possuindo um índice de correção a ser aplicado sobre o valor JCR de uma publicação da área. É importante notar que esse índice diminui apenas algumas distorções, e apenas na média.
Outra distorção é o fato de que o Qualis sempre olha para o passado, isto é, ele avalia as publicações já feitas. Isso pode ser corrigido pelo Coordenador de Área, que tem o direito de sugerir novos veículos para a lista com a finalidade de induzir a publicação nos mesmos, porém deve ser feito caso a caso. Não é possível adicionar “todos os veículos” na lista Qualis por vários motivos, como a necessidade de existir um fator de impacto, a constante criação de novos veículos e o trabalho necessário.
Uma terceira distorção é o fato do Qualis não considerar a qualidade da publicação. Isso afeta diretamente a base do Qualis como método. Dessa forma, na avaliação Qualis, um bom artigo em uma revista de fator de impacto mediano será sempre avaliado com menos pontos que um artigo simples em uma revista de fator de impacto alto. E ainda assim, estamos confundindo fator de impacto com qualidade, já que podemos encontrar casos onde o fator de impacto não reflete a qualidade acadêmica da publicação ou a profundidade dos seus artigos. Talvez o problema mais discutido no Fórum tenha sido o uso indevido do Qualis na avaliação de pesquisadores, principalmente nas avaliações internas.
Deve ficar claro que ele “foi concebido pela CAPES para atender a necessidades específicas do sistema de avaliação”. O próprio diretor de avaliação da CAPES, Prof. Livio Amaral, disse em entrevista para a Revista da FAPEST: “O uso do Qualis Periódicos é totalmente inadequado na avaliação de pesquisadores. Ele se destina à análise de programas de pós-graduação, e não de pesquisadores individualmente”. Essa opinião foi consenso no último Congresso da Sociedade Brasileira de Computação (SBC), sendo várias vezes repetidas pelo Coordenador de Área, prof. Edmundo Silva, por membros da Comissão de Área do CNPq, e pela diretoria da SBC.
Em relação a esse ponto, os coordenadores do Fórum levantaram vários questionamentos. Basicamente, os programas são avaliados pelo Qualis, então a tendência é que a avaliação interna de pessoas se dê também pelo Qualis. Os coordenadores passam a se sentir na obrigação de incentivar os professores a publicar em periódicos bem classificados no Qualis, para melhorar a avaliação do programa. Novamente, a mensagem do prof. Edmundo Silva foi: isso é um erro, os pesquisadores devem ser julgados de forma global. Na mesma reunião o Prof. Palazzo afirmou que as avaliações do CNPq são globais. A recomendação geral é que, na avaliação de pessoas, as publicações sejam analisadas quanto a sua relevância. A idéia básica é que se todos publicarem “bem”, resultará que várias dessas publicações estarão no Qualis.
Por outro lado, seguir a filosofia de que o não se deve procurar o Qualis funciona bem melhor para os programas grandes, pois com muitos professores a probabilidade de se publicar em um veículo classificado no Qualis acaba sendo alta. Os programas pequenos, porém, afirmam que se não focalizarem especificamente em produzir para veículos bem classificados no Qualis, acabarão com todas suas publicações não avaliadas. Esse problema é sério, pois mostra o Qualis como indutor de pesquisas, quando ele foi projetado para avaliar o passado e não guiar o futuro.
No extremo, abandonaremos todas as áreas inovadoras ou de baixo impacto, mesmo se importantes. Além disso, como o Qualis usa a média para avaliar o programa (publicações dividida pelo número de professores atuantes), gera uma nova solução matemática para os programas: quanto menor o corpo docente, melhor pode ser sua classificação. Houve relatos importantes de programas onde há questionamento quanto à contratação de novos professores e também programas onde há a tentativa de cisão de um grupo, pois se isolando do programa original faria mais pontos na avaliação CAPES. Isso foi bem descrito por um coordenador que deu o seguinte exemplo: um programa com 10 pesquisadores excelentes faria mais pontos que um programa com 10 pesquisadores excelentes e 10 quase-excelentes, mas provavelmente o segundo seria melhor que o primeiro. Os cursos buscando aprovação inicial, principalmente, têm sido praticamente obrigados a diminuir seu corpo docente de maneira a atingir uma produtividade mais alta, excluindo do processo professores que certamente colaborariam para um curso melhor.
Todos esses problemas não são específicos da Computação. Algumas áreas, por exemplo, não trabalham com periódicos e esperam até hoje a definição do Qualis-Livros. Mas a nossa área ainda apresenta algumas características que nos diferenciam de todas as outras.
Apenas 22 Engenharias? 28/07/2009
Posted by gxexeo in Opinião.Tags: Engenharia, Universidade
3 comments
O Ministério da Educação e Cultura abriu consulta pública sobre dois documentos: um referencial para 22 cursos de Engenharia e uma lista de conversão das denominações antigas para denominações novas.
Antes de opinar sobre a proposta feita, é importante dizer que a própria proposta já nasce de um erro básico: supor que limitar o conceito de Engenharia em um grupo fixo de modalidades é uma boa idéia para o país.
“Ingenerare”, a palavra em latim que serve de raiz para Engenharia, significa “criar”. Engenheiros criam objetos ou abstrações, como processos.
Apenas para possuirmos uma definição que ilustra nossa opinião, podemos citar o Conselho Americano de Engenheiros pelo Desenvolvimento Profissional, que em 1947 definiu Engenharia como: “A aplicação criativa de princípios científicos para projetar ou desenvolver estruturas, máquinas, aparatos, ou processos de manufatura, ou trabalhos que os utilizam isoladamente ou em combinação, ou construí-los ou operá-los com total conhecimento de seu projeto, ou projetar seu comportamento em condições operacionais específicas, em respeito a uma função pretendida, economia de operação ou segurança a vida e propriedade”.
Engenharia é um modo de desenvolver, operar e manter, sistematicamente e com base científica ou empírica, objetos ou processos que envolvem, de alguma forma, o engenho humano.
Basicamente, o Engenheiro cria soluções, aplicáveis em várias áreas. Ele usa os conhecimentos de Engenharia como método. A própria divisão da Engenharia em áreas indica que Engenharia não é uma profissão específica, mas uma visão generalizada que pode ser especializada em diferentes áreas de problema.
Limitar a Engenharia a 22 denominações, cada uma com uma especificação restritiva, implica em reduzir a capacidade humana de resolver problemas, congelar no tempo e inibir a inovação.
Ao eliminar as ênfases, a lista erra por desconsiderar a necessidade de especialização. Ao separar cursos em modalidade e ênfase, o objetivo era deixar claro qual a formação do egresso. Eliminar a ênfase significa dar ao egresso, e aos seus “clientes”, a impressão de uma capacitação não-existente e, simultaneamente, não reconhecer sua especialização em um tema de interesse.
Em especial, a lista de 22 denominações já nasce antiquada. Ela confunde, na tabela De->Para o que é Engenharia de Computação com o que é Engenharia de Software. Ela elimina a Engenharia de Petróleo, que é uma junção de vários conhecimentos e não pode ser classificada unicamente como Mecânica, Química ou de Minas. Ela elimina a Engenharia Hídrica e a Engenharia Sanitárias, confundindo-as com as Engenharias Civil e Ambiental. Ela elimina a Engenharia de Bioprocessos para confundi-la com a Engenharia Química.
Uma das motivações do MEC parece ser a facilitar a avaliação dos cursos. Supondo que as IES brasileiras não possuem um comportamento autista, todos os cursos atuais atendem alguma demanda da sociedade. Tentar enquadrar esses cursos criados por demanda local em um número limitado de Engenharias para atender a capacidade da burocracia de manipular esses cursos é colocar a sociedade a reboque da burocracia, o que é um dos erros conceituais mais graves dessa proposta.
O modelo correto, ao contrário do que esse movimento do MEC indica, é estudar os verdadeiros critérios que caracterizam a Engenharia. Atualmente esses critérios se resumem em currículos básicos que demonstram mais uma vez um visão retrógrada da Engenharia. O que precisamos é discutir quais as verdadeiras características dos Engenheiros, que incluem a capacidade de modelar, criar predições e buscar soluções economicamente viáveis e possivelmente ótimas.
Os esforços que serão gastos na discussão de uma visão intervencionista, burocrática e conservadora poderiam ser bem mais eficazmente utilizados na busca do que são os desafios da Engenharia no século XXI, especialmente frente a realidade brasileira.
Provocações 