eu
João Vasconcelos Costa
Espaço de conversa de um epicurista ou, pretensiosamente, a sabedoria (?) de/dos 60s. Açoriano, muitos anos investigador científico, depois professor universitário, passando por diretor de uma instituição de investigação e ensino, tudo isto com algum trabalho feito de estudo da educação superior. Hoje, novamente com responsabilidades de direção universitária. Albergando aqui a perplexidade angustiada da falta de perspetivas de concretização de ideais nunca realizados. Também, mais prosaicamente, o gosto de bem comer. E peripatético, que isto de ficar sentado é coisa de velhos.
 

A avaliaÇÃo do sistema de ensino superior - um exercÍcio desmesurado

João Vasconcelos Costa

Sabia que o MCTES tinha como prioridade a avaliação universitária. Por isso, comecei então a escrever um artigo de fundo, sempre adiado por outros afazeres. A recente divulgação do projecto de despacho sobre o novo sistema de avaliação e de garantia de qualidade obriga-me a um comentário imediato. O outro artigo não fica a perder, porque tratará, essencialmente, de um assunto relativamente pouco discutido: a relação entre avaliação, acreditação e regulação. Esse será um artigo "teórico", este é de intervenção.

Lamento muito este projecto, pelo apreço pessoal e de amizade que tenho pelo ministro, mas que também me conhece bem e sabe que não sou de calar o que devo dizer. Em síntese, defino-o como um projecto com alguma megalomania, provavelmente justificativo de atrasos consideráveis na tomada de decisões políticas corajosas para as quais já há condições e, até certo ponto, menorizador das capacidades portuguesas em matéria de política da educação superior. Parece-me uma enorme operação para fins desproporcionados, com longa duração, eventualmente a adiar a reforma urgente do nosso sistema de avaliação (até para efeitos do financiamento, hoje crítico), que bem podia ser feita com tanta gente que temos com experiência acumulada e com recurso a toda uma vasta bibliografia bem acessível. Além do mais, certamente, com muito menores custos.

No essencial, creio que se corre um risco bem à portuguesa. Lança-se um grande processo internacional, moroso, e tudo fica à espera desses resultados, muitas vezes, como sabemos, superficiais e de generalidades, por desconhecimento de factores estruturais e culturais muito fundos. Vou dar um exemplo significativo. Espera-se que a OCDE nos venha dar opinião sobre o sistema de governação das universidades portuguesas. Provavelmente, a urgente revisão da lei da autonomia fica a aguardar. Mas não sabemos todos o que a OCDE vai recomendar, como receita geral? E não conhecemos muitas e muitas discussões ricas sobre este tema feitas em Portugal? Esquece-se o trabalho promovido pela Fundação Gulbenkian? Haja é coragem politica para decidir, sem a defesa de recomendações internacionais, quantas vezes teorizantes.

Nunca subestimei a importância do recurso à experiência internacional, mas daí a uma veneração vai grande distância. E os leitores sabem que tenho autoridade para falar, porque não uso poupar-me nas críticas ao sistema português.

A nova acção tem três componentes principais: 1. a avaliação global do nosso sistema de ensino superior (SES); 2. a avaliação do sistema de garantia de qualidade do SES; 3. A avaliação institucional de estabelecimentos do ES.

Antes de discutir cada ponto, volto ao que disse. Em cada um dos temas, dispomos de bons especialistas e de pessoas com grande conhecimento e experiência das realidades internacionais. É verdade que, com raras excepções de "out-siders", são pessoas inseridas no sistema, eventualmente influenciadas pela sua cultura dominante. Mas sobreleva, em tantos e tantos casos, a sua oposição activa a esse sistema. Devem começar a sentir-se frustrados pelo esquecimento a que o poder os relega. Julgo que, para a maioria das tarefas consignadas neste projecto, havia condições para a constituição de grupos portugueses, embora, desejavelmente, os seus relatórios pudessem ser "meta-relatados" por uma entidade estrangeira, com muito menor custo. Dou um exemplo: que maior valor vamos obter de um estudo da ENQA em relação a um estudo feito por um bom grupo (mais do que viável) coordenado pelo delegado português à ENQA e profundo conhecedor dos processos de avaliação e das recomendações da ENQA?

1. A avaliação global do SES

Pretende-se avaliar o desempenho global do SES, pedindo-se à OCDE propostas de estratégias e de adequação às estratégias nacionais de desenvolvimento (isto não choca com a auto-estima nacional?!). E ainda, entre outras coisas, o número e distribuição dos estabelecimentos, o regime de acesso, as relações entre as instituições e a tutela, os recursos financeiros, a abertura a novos públicos. Como português, terei alguma vergonha em anunciar-me como tal quando for a Paris, à OCDE.

Para confirmar o que digo, vale a pena transcrever o que se pede, genericamente, à OCDE:

"A Organização para a Cooperação e Desenvolvimento Económico (OCDE) ficará encarregue da avaliação global do sistema de ensino superior português, bem como das respectivas políticas, incluindo a sua dimensão sistémica, as suas forças e fraquezas no contexto europeu, a sua eficiência e o seu estado de desenvolvimento; da avaliação do tipo e da dimensão das instituições de ensino superior portuguesas, bem como das medidas a serem tomadas para promover a racionalização do sistema; da estrutura governativa do sistema de ensino superior português; o enquadramento actual de regulação, incluindo os recursos financeiros, a avaliação e acreditação, bem como as medidas a serem tomadas para clarificar o papel do governo e das instituições governamentais no sistema de ensino superior. Serão igualmente avaliados os procedimentos de acesso ao ensino superior, as recomendações sobre os procedimentos, tendo em vista ajudar à abertura do ensino superior a novos públicos e a promover a aprendizagem ao longo da vida, de uma forma que melhore as qualificações da população portuguesa no contexto europeu."

E ainda um exemplo surpreendente da especificação dos pedidos:

"Papel do ensino superior: a necessidade de assegurar que o sector do ensino superior contribui de forma adequada para a promoção do conhecimento em Portugal, desenvolvendo todo o potencial dos estudantes, ao mesmo tempo que se mostra aberto e flexível em satisfazer a crescente diversidade de necessidades e exigências associadas à sociedade de conhecimento, à aprendizagem ao longo da vida, à globalização, à satisfação das necessidades das economias nacionais e regionais e das comunidades locais, juntamente com a contribuição para a coesão social e a equidade e para manter a identidade cultural do país."

Por este andar, não será de espantar ver o Banco de Portugal encomendar ao Banco Central Europeu os seus habituais relatórios de conjuntura.

Curiosamente, nesta confusão, vai pedir-se à OCDE também o que se vai pedir à ENQA: o estudo dos processos de avaliação, acreditação e garantia de qualidade.

O "site" da OCDE está cheio de "surveys" sobre sistemas nacionais de ES. São amontoados de estatísticas, com muito poucas ideias qualitativas. Estas estatísticas, aliás, fazem parte dos habituais relatórios "Education at a glance" e qualquer pessoa com experiência em politica do ES as sabe interpretar. Mais ainda, estas estatísticas são fornecidas pelos próprios países. Ressalvo, no entanto, que o que agora se pede é coisa diferente, é um relatório ("review", na terminologia da OCDE) de análise do sistema.

Estudos deste tipo fizeram-se em vários países na última década, e alguns de grande profundidade e alcance, como o relatório Dearing no Reino Unido, o Bricall na Espanha, o MjØ na Noruega. Foram todos da responsabilidade de nacionais, não vendo neles qualquer referência à participação de organizações internacionais.

No entanto, há estudos ("reviews") mais aprofundados da OCDE, nomeadamente sobre os SES da Suíça e da Irlanda, textos que me parecem valiosos. Oxalá, ao menos, também venhamos a lucrar. Anoto, todavia, uma diferença essencial em relação a este caso português. Os governos pediram opinião sobre reformas recém-adoptadas e ainda não monitorizadas ou sobre políticas a definir (como o caso do LLL na Suíça), não sobre sistemas tradicionais de cujos erros o diagnóstico é elementar e já está feito.

Resumindo, não tenho oposição de princípio a este exercício da OCDE, evidentemente. O que julgo é que, politicamente, é duvidoso em termos de custo-benefício, que aliena o interesse nacional na discussão da política do ES e que pode facilmente adiar a decisão sobre problemas urgentes.

2. A avaliação do sistema de garantia de qualidade do SES

De facto, o título e as referências no texto são mais completas e variadas: "avaliação do sistema de garantia de qualidade", "avaliação dos actuais processos e práticas de garantia de qualidade, de acreditação e de avaliação do ES", "avaliação das práticas de acreditação e de garantia de qualidade". Assim, temos que considerar três coisas distintas, embora estreitamente relacionadas: avaliação, acreditação e garantia de qualidade. Comecemos pelas duas últimas, que são a maior surpresa, no sentido em que se pede a avaliação do que não existe. Desafio o MCTES a demonstrar que existem em Portugal acreditação (excepto a profissional, pelas ordens) e mecanismos de garantia de qualidade.

Começa-se logo, na primeira página, por uma confusão, ao afirmar-se que a acreditação será feita "com base nos melhores padrões e nas melhores práticas mundiais". Se isto se refere ao processo de acreditação, muito bem, mas suspeito que se refere é aos critérios de acreditação. Estes nunca podem ser nivelados pelas melhores práticas, porque, como é conhecimento elementar, a acreditação é um processo de tudo ou nada, que certifica o preenchimento de condições mínimas. Por analogia com os nossos alunos, é uma classificação de 10 valores, não de 18 ou 20.

Como se sabe, há no nosso sistema três níveis de intervenção na avaliação. No topo, o CNAVES, cheio de gente respeitável, mas com escasso trabalho prático, não menosprezando alguns bons documentos de politica geral e a iniciativa de alguns colóquios com muito interesse, mas nem sequer relacionados sempre com a avaliação. A seguir, as entidades responsáveis pela avaliação, incrivelmente constituídas pelos próprios subsistemas avaliados. Limitam-se a receber o financiamento e a nomear as comissões de peritos de avaliação, estas sim o essencial. É preciso aconselhamento internacional para resolver isto?

Conheço quase todos os relatórios de avaliação. No primeiro ciclo, achei-lhes deficiências e pouca acutilância. Como é natural, têm vindo a melhorar claramente. Seguem os padrões consensuais do "peer review", consagrado na comunidade académica mundial. Não vejo que nenhuma agência internacional, ENQA ou outra, possa aconselhar nada de novo quanto a isto. Quando muito, aconselhar uma coisa fundamental, um bom guião de avaliação, mas, para isto, basta ir à "net".

Entretanto, fica a aguardar a medida mais urgente: a avaliação integrada, que podia ser posta em acção imediatamente. Com isto quero dizer a avaliação, a vários níveis (departamento, faculdade, universidade) das suas actividades integradas: o ensino, hoje abrangido pela nossa avaliação programática transversal e só recentemente com resultados classificativos, mas ainda não operacionais; a investigação, já com um sistema bem estabelecido de avaliação; e a governação e gestão, nunca avaliadas, embora o DL 252/97 tenha imposto auditorias bienais, creio que caídas no esquecimento.

Porquê a ênfase imediata que dou a este tipo de avaliação? Porque ele permite classificações em variados itens, com reflexo no que de mais urgente há no nosso SES: a racionalização do financiamento, em tempos, a prolongarem-se, de graves constrições orçamentais. Tudo isto com efeito perversamente benéfico. Não há processo de Bolonha que vença, regra geral, a inércia universitária; vai ser o sufoco financeiro, em condições de forte competição (daí a avaliação).

Esta avaliação integrada, resultando em classificações (e por que não os malfadados "rankings"?) é também essencial para um objectivo essencial da avaliação que o corporativismo universitário tende a esquecer: a defesa do consumidor. Quando qualquer um de nós vai ao supermercado, quer saber escolher entre dois produtos. Quantos dos candidatos ao ensino superior conseguem distinguir as ofertas dos cursos que desejam?

3. A avaliação institucional

Este parece-me o capítulo mais gratuito do projecto. No fundo, limita-se a propiciar financiamento a projectos voluntários das universidades de sujeição a avaliação pela Associação Europeia das Universidades (EUA). Não é mau, ao menos que não tenham as universidades de o pagar, como até agora.

Creio que é exercício muito inconsequente. No passado, oito universidades públicas portuguesas pediram uma avaliação à CRE, a antecessora da EUA. Estive muito envolvido numa delas e falo com conhecimento de causa. É importante salientar que estas avaliações são limitadas a um único aspecto da actividade universitária: a dos seus mecanismos de promoção da qualidade. Neste sentido, são o protótipo da chamada "quality audit". Não sei como é hoje com a sua sucedânea, a EUA, mas duvido que as suas avaliações abranjam outros aspectos, como os referidos no projecto de despacho: governação e gestão, acesso, relevância dos diplomas, financiamento, ligação ao mundo exterior.

Da minha experiência pessoal, recolhi uma conclusão que, admito, não posso generalizar. Gastei muitas horas a preparar o documento base, de auto-avaliação. Outras tantas horas em reuniões com os avaliadores. Depois, recebi um relatório muito bom. Nunca foi discutido pelo senado, nem sequer pela sua secção permanente. Mas este exercício figurou, com destaque, no currículo do reitor para a sua segunda eleição.

A Comissão Coordenadora Nacional

A minha experiência politica e de gestão dá-me alguma sensibilidade para adivinhar consequências obscuras para outros. Este processo, como se viu, é complexo e fragmentado, até, como se viu, em alguns casos, repetitivo. Obviamente, necessita de coordenação, como é prevista no projecto, com a nomeação de uma Comissão Coordenadora Nacional (CCN). Quanto mais difusa é uma operação, mais influentes são os coordenadores, que acabam por fornecer os resultados finais trabalhados, com grande margem de manobra para a sua influência na resolução de prováveis contradições.

Não vou falar no membro português, com reconhecida competência e experiência nacional e internacional. Mas quem é Jean-Pierre Contzen? Posso ser muito ignorante sobre quem é o "who is who" na politica científica internacional, mas era-me desconhecido até uma reunião há uns tempos. Um intervenção interessante, mas não notoriamente diferente em valor de muitas outras. Creio que, para a maioria dos universitários portugueses, é personagem totalmente obscura.

JPC é belga, tem 70 anos e é engenheiro de formação. Foi investigador durante cerca de quinze anos, abandonando prematuramente a investigação, como tantas vezes acontece, para encetar depois uma carreira na politica científica, com destaque para funções na DG-XII da Comissão Europeia. Não lhe encontro qualquer experiência em politica educativa e do ES, excepto no componente de investigação. Foi apenas, durante cinco anos, "alternate professor" (professor convidado, nos nossos termos), em acumulação com as suas actividades de politica científica. Embora não conste do seu CV, creio que também esteve associado ao Instituto Superior Técnico.

Estamos habituados a ver chamar a Portugal peritos estrangeiros. Em muitos casos, felizmente, com total pertinência. Mas, quando se quer apresentar uma acção ao estilo internacional, porque não a regra geral de fornecer os dados curriculares dos intervenientes?

Anote-se ainda, e com relevância para o que escrevi sobre os riscos da influência desta CCN, que é provável que duas únicas pessoas, uma das quais não residente, não consigam fazer este trabalho. Vão ter de chamar colaboradores. Não era mais transparente identificá-los já neste despacho?

E finalmente

Volto ao que disse inicialmente: já sabia que a questão da avaliação era uma prioridade do ministério e concordo, mas nunca nestes termos. Lamento ter de dizer isto, mas tudo me parece um jogo de atrasar. Se fosse um exercício académico, embora caro e despropositado, não levava muito a mal. Mas como se pode compreender que se lance uma acção destas e, ao mesmo tempo, se tomem medidas atempadas prioritárias, se se acha que necessitam de pareceres estrangeiros, forçosamente demorados? Talvez até quase toda a legislatura, o que nos permite a dúvida sobre se o MCTES não vai ser um ministério de gestão, de navegação costeira, o que até é hábito politico e, surpreendentemente, com dividendos.

"Se eu fosse ministro...", é coisa que todos dizemos. Neste momento, sinto-me obrigado a dizê-lo.  Acho que, sem exercícios de pretensão internacionalista, o MCTES tem de responder a questões urgentes. Estas seriam as minhas prioridades (sem ser obrigatoriamente por esta ordem):

  1. Conjugação da avaliação dos cursos, da avaliação científica e da avaliação da governação e gestão, começando logo a nível departamental. Resultado em classificações, com efeitos no financiamento.
  2. Reforma urgente da lei da autonomia, permitindo, sem imposições, a adopção de modelos modernos de governação, com efeitos também para a valoração no financiamento.
  3. Definição urgente de quadros nacionais de qualificações, por área disciplinar, - uma prioridade fixada na reunião de Bergen - sem cuja referência a adaptação a Bolonha vai ser, provavelmente, um processo inconsequente. São também muito importantes para a definição de novos guiões de avaliação programático (dos cursos).
  4. Estatuto da carreira docente que diferencie claramente os professores em termos de mérito e que estabeleça um sistema de classificação ondividual. Sem isto, é entregar tudo o resto à decisão dos medíocres.