Parecer n.º 5/2008, de 13 de junho

Parecer n.º 5/2008

Parecer sobre a «avaliação externa das escolas»

Conselheiros relatores António Alves da Silva Marques e Jorge Miguel Luz Marques da Silva

Preâmbulo

No uso das competências que por lei lhe são conferidas, e nos termos regimentais, após apreciação do projecto de parecer elaborado pelos conselheiros relatores António Alves da Silva Marques e Jorge Miguel Luz Marques da Silva, o Conselho Nacional de Educação, em reunião plenária de 27 de Maio de 2008, deliberou aprovar o referido projecto, emitindo assim o seu segundo parecer no decurso do ano de 2008.

1 - Enquadramento - de acordo com a Lei n.º 31/2002 está o CNE - Conselho Nacional de Educação mandatado para exercer, no âmbito da avaliação dos estabelecimentos de educação pré-escolar e dos ensinos básico e secundário «as competências de emissão de opiniões, pareceres e recomendações previstas no Decreto-Lei n.º 125 /82, de 22 de Abril».

Na sequência do despacho conjunto n.º 370/2006, de 3 de Maio, do Ministro de Estado e das Finanças e da Ministra da Educação, foi dado um passo significativo para um processo que se encontra ainda numa etapa inicial e de adesão voluntária, por parte das escolas, mas sobre o qual é possível emitir juízos e propor orientações.

Os dados disponíveis para análise consideram 100 unidades de gestão de um universo de 1200. Acrescem as 24 unidades de gestão abordadas no estudo piloto e as 273 que se encontram actualmente em processo de avaliação, para algumas das quais, poucas, já existem resultados. Apesar de ser um conjunto ainda pouco significativo, não nos devemos inibir de colaborar, nesta fase e com limitações justificadas, num debate que possa aprofundar o modelo e introduzir correcções úteis para que a universalização se faça numa base mais consensual e concertada com os principais actores.

Para a informação deste parecer concorreram os muitos e diversificados contributos dos diferentes especialistas convidados pelo CNE e dos representantes das escolas e responsáveis do Ministério da Educação que se disponibilizaram a participar em audições sobre o modelo, o processo e os resultados. Salienta-se a disponibilidade sempre demonstrada pelo inspector-geral da Educação para colaborar com o CNE, informando sobre a evolução do processo. Essa disponibilidade materializou-se, designadamente, na presença no CNE para uma audição sobre o modelo e o processo e para a apresentação do relatório com os resultados de avaliação (2006-2007).

É ainda de referir que os vários pontos de enquadramento se apoiam na informação existente nos estudos Avaliação das Escolas - Fundamentar Modelos e Operacionalizar Processos, encomendado pelo CNE (2005) e L'évaluation des établissements obligatoire en Europe, da Rede Europeia de Informação sobre a Educação - Eurydice (2004).

Este parecer incide exclusivamente sobre o processo de avaliação externa das escolas, um dos níveis da avaliação integrada do sistema educativo. Assume-se, nesse sentido, como parcelar.

1.1 - Avaliação das escolas - razões que justificam a sua pertinência - é hoje socialmente reconhecido que as qualificações profissionais e académicas dos portugueses se situam abaixo dos níveis desejados, constituindo um dos principais obstáculos ao desenvolvimento do País. Por isso, a educação tem sido assumida como prioritária no discurso da maioria dos governos da era democrática, um estatuto que só parcialmente se materializou em avanços efectivos.

É certo que, desde o 25 de Abril, o acesso ao ensino se massificou e democratizou mas persistem problemas graves, com destaque para o abandono e o insucesso escolar e os fracos resultados escolares dos estudantes portugueses evidenciados pelos instrumentos internacionais de aferição.

Há, portanto, uma larguíssima margem para melhoria das competências e qualificações académicas e profissionais dos portugueses, processo onde as escolas desempenham um papel nuclear. Essa melhoria, não sendo apenas por ela condicionada, passa necessariamente, pelo aumento de qualidade da acção das escolas. Não é possível, contudo, alcançar esse objectivo sem desenvolver mecanismos de avaliação adequados aos estabelecimentos educativos.

Essa preocupação, aliás, tem uma dimensão europeia, como atesta a Recomendação do Parlamento Europeu e do Conselho da União Europeia sobre a Cooperação Europeia em Matéria de Avaliação da Qualidade do Ensino Básico e Secundário (2001/66/CE).

É possível enumerar algumas das razões explicativas que predominam no debate sobre a necessidade de avaliação dos serviços de interesse público em geral e das escolas em particular:

O destaque atribuído à avaliação das escolas decorre de duas tendências que marcam a generalidade dos países europeus: descentralização de meios e definição de objectivos nacionais e de patamares de resultados escolares. Assim, a autonomia dos serviços públicos, consubstanciando uma delegação de poder, pressupõe a responsabilização e a transparência, a definição de objectivos e a recolha de informação sobre resultados;

A avaliação das escolas é um instrumento de política educativa que colabora no esforço global de melhoria da educação, entendida esta melhoria como um processo contínuo de elevação das aprendizagens dos alunos e dos resultados escolares. Neste contexto, a informação gerada pela avaliação das escolas tem que contribuir para a regulação do sistema;

As desmedidas expectativas - numa escola fragilizada - sobre a resposta da escola às múltiplas necessidades e solicitações sociais não se vêem suficientemente respondidas. Há que conhecer os factores que explicam os níveis de eficiência e eficácia apresentados pelas escolas e perceber o que depende da escola ou deriva de factores externos;

O reconhecimento, por parte das escolas, cada vez em maior número, da importância da avaliação enquanto instrumento para a melhoria da qualidade dos processos e dos resultados accionando, nesse quadro, processos de auto - avaliação;

A avaliação não se substitui ao debate sobre a escola, antes deve colaborar para suportar e qualificar esse debate;

A imagem social da escola é pouco favorável, decorrente de uma avaliação mediática, genérica, expressa na ressonância pública dos acontecimentos, problemas ou incidentes e na divulgação de comparações internacionais ou de resultados de exames referentes a escolas e contextos diferentes, sem que se tenha em conta a sua especificidade e o valor acrescentado que incorporam. Uma avaliação séria da escola evidencia a pobreza e os efeitos perversos e nocivos que os rankings e os media, de forma pouco cuidada, potenciam e fornece à sociedade civil, que justamente reclama mais e melhor informação sobre o sistema educativo, uma imagem mais consentânea com a realidade das escolas.

1.2 - Tendências internacionais de avaliação das escolas - a avaliação das escolas é um processo generalizado nos países europeus. Os objectivos, o âmbito, o processo e as consequências da avaliação, porém, variam marcadamente entre países e vêm mostrando, muitas vezes, evoluções assinaláveis em alguns deles.

Os objectivos variam entre a inspecção, no sentido literal do termo (verificação de conformidades e irregularidades) e a promoção (directa) do desenvolvimento escolar, predominando as soluções em que estes dois objectivos, de alguma forma, coexistem.

A relação entre a avaliação institucional e avaliação individual ocorre sob diversas formas:

i) Pode haver avaliação da função educativa mas não avaliação individual dos professores;

ii) A avaliação externa tem em conta a avaliação de desempenho individual dos professores realizada na escola;

iii) A avaliação de professores decorre em processos paralelos.

No âmbito das consequências da avaliação externa (utilização dos resultados) é dada, na maioria dos países, a possibilidade às instâncias dirigentes da escola de se pronunciarem sobre a versão provisória do relatório final, tendo em vista a correcção de erros factuais ou a clarificação de certos pontos.

O acompanhamento posterior é sistemático e está regulamentado na maioria dos países, embora noutros apenas quando os resultados insatisfatórios o justifiquem.

Não tem sido possível estabelecer correlações entre as variantes dos modelos de avaliação e a qualidade da educação nos diversos países, emergindo apenas o consenso de que a avaliação é um processo imprescindível para a promoção da qualidade dos sistemas, que tem que ser aplicado de uma forma sistemática e minimamente estruturada.

1.3 - Avaliação das escolas em Portugal - evolução histórica - existe já uma considerável experiência nacional em avaliação de escolas, quer em processos liderados pelo Ministério da Educação, quer em variados processos a que as escolas aderiram por sua iniciativa. Sem a preocupação de exaustividade, podem referir-se os seguintes:

Sistema Estatístico da Educação - Indicadores Disponíveis (DAPP);

Melhorar a Qualidade (AEEP/apresentação do processo de auto-avaliação com base no modelo da Fundação Europeia para a Gestão da Qualidade); Avaliação dos Estabelecimentos de Ensino Obrigatório na Europa (Eurydice);

Modelo AVES (Fundação Manuel Leão);

Modelo de Avaliação das Escolas Profissionais (ANESPO);

E ainda os da responsabilidade da Inspecção-Geral da Educação ou outras instâncias do Ministério da Educação:

Avaliação do Funcionamento Global das Escolas (1993-1995);

Auditoria Pedagógica (1997);

Avaliação das Escolas Secundárias (1998 - 1999);

Avaliação Integrada do Desempenho das Escolas (1999 - 2002);

Observatório da Qualidade da Escola (PEPT 2000, 1992 - 2000); e

Aferição da Efectividade da Auto-Avaliação (2004-2006).

A diversidade de aproximações permitiu a acumulação de uma experiência rica, que constitui um património valioso, mas não se traduziu na consolidação do processo e na sua internalização na nossa cultura educacional. Importa fazê-lo agora, pelo que as necessárias alterações ao modelo vigente se devem fazer numa perspectiva de evolução e continuidade. Esta opção é assumida, porém, com plena consciência dos limites que este modelo estabelece - desde logo, reconhecendo que se trata de um processo externo, de facto, às escolas, mas interno ao Ministério da Educação.

2 - O CNE e a avaliação da educação - com a publicação do parecer, em Fevereiro de 1994, «Democratização e qualidade do ensino: contributos para a análise da situação», o CNE assume uma posição pública sobre os processos de avaliação e qualidade do sistema educativo.

Ainda que o parecer se repartisse entre a democraticidade e a qualidade global do sistema de ensino, e não incidisse explicitamente sobre a sua avaliação, é pertinente notar que, entre as recomendações, avulta a necessidade de consolidar a informação referente ao sistema, que se apresentava avulsa e fragmentada, dando-lhe coerência e continuidade. As recomendações aludem ainda directamente ao desempenho das escolas, referindo que a participação de Portugal no projecto INES - indicadores da OCDE - vinha gerando a publicação de estudos exploratórios, ainda sem a possibilidade de extracção de conclusões.

Desde então o CNE não voltou a emitir pareceres expressamente sobre a avaliação da qualidade global do sistema de ensino, o que sugere que os problemas da sua avaliação não conquistaram na agenda política a prioridade que mereceriam.

Com a publicação da Lei n.º 31/2002, de 20 de Dezembro, foram atribuídas ao CNE competências para apreciar as normas relativas ao processo de auto-avaliação das escolas, o plano anual das acções inerentes à avaliação externa e os resultados dos processos de avaliação, interna e externa, devendo com base nessas informações propor medidas de melhoria do sistema educativo (artigo 12.º). Em 2003 a Comissão Coordenadora do CNE entendeu que compete à 5.ª Comissão Especializada Permanente - análise e acompanhamento global do sistema educativo - assumir as tarefas previstas na lei.

Desde então, e sobretudo com o arranque de uma nova fase do processo de avaliação das escolas (despacho conjunto n.º 370/2006, de 3 de Maio), tem havido, por parte do CNE, um acompanhamento do processo, caracterizado principalmente pela reflexão interna no seio da 5.ª Comissão, pela auscultação de diversas entidades e especialistas, pela organização de seminários temáticos e pela promoção, com o apoio da Fundação Luso-Americana para o Desenvolvimento, do estudo «Avaliação das escolas: fundamentar modelos e operacionalizar processos».

Este parecer é o corolário de toda essa actividade e corresponde à primeira tomada de posição pública do CNE sobre o processo vigente de avaliação externa das escolas do ensino não superior.

É importante referir e reforçar que o modelo em análise incide única e exclusivamente no objecto escola. Uma avaliação alargada aos diferentes níveis de responsabilidade no sistema (local, regional e nacional), torna-se essencial para uma maior credibilidade social do sistema de avaliação da educação em geral e das escolas em particular.

3 - O modelo e o processo de avaliação - análise crítica - o modelo de avaliação adoptado, e o processo que o consubstancia e está em curso, resultam essencialmente da acção do grupo de trabalho de avaliação das escolas, desenvolvida em 2006. Esse grupo preparou o quadro de referência para a avaliação externa, efectuou um ensaio piloto e lançou a segunda fase de avaliação, que decorreu em 2007 já sob a responsabilidade da Inspecção-Geral da Educação. Esta instituição executa a 3.ª fase, que está actualmente em curso. Para a análise crítica do modelo e processo de avaliação vigentes decidiu-se considerar autonomamente as três fases que é possível identificar no processo: a fase de preparação, que antecede a visita da equipa de avaliação às escolas; a fase crucial de visita às escolas; e a fase final, que a sucede. Optou-se por analisar simultaneamente o modelo, i. e., o esquema conceptual de avaliação, o processo e a sua operacionalização, por se considerar que as limitações e potencialidades de cada um não são dissociáveis do outro. Por facilidade de leitura, a designação «escola» será genericamente adoptada quer para designar estabelecimentos individuais quer os seus agrupamentos.

3.1 A fase preparatória - na perspectiva das escolas, a primeira aproximação ao processo consiste, simultaneamente, na compreensão da sua orgânica, na internalização dos parâmetros de avaliação e na preparação de elementos de auto-avaliação. Analisaremos portanto esses aspectos.

A Inspecção-Geral de Educação mantém, no seu sítio electrónico, uma página intitulada «Avaliação Externa da Escolas», facilmente localizável - facto que se saúda - e que se pressupõe constituir, como pretende, uma fonte nuclear de informação para os diversos agentes envolvidos. Essa página, para além da definição dos objectivos do processo, permite a leitura de um conjunto de documentos de suporte, incluindo um folheto divulgativo, de duas páginas, que condensa a informação sobre a sua orgânica.

Os objectivos descritos na página são cinco, dos quais três se prendem com a melhoria das escolas, um refere-se à regulação geral do sistema educativo e outro ao fornecimento de informação à comunidade. Os três primeiros objectivos encontram-se formulados de forma pouco clara, parecendo haver uma sobreposição parcial entre os dois primeiros.

A interpretação dos objectivos pode condicionar todo o processo pelo que a sua formulação deve ser reequacionada. O folheto informativo contém um pequeno texto que acompanha os objectivos e clarifica o seu conteúdo.

Os objectivos formulados apontam para a tridimensionalidade do modelo de avaliação: pretende, por um lado, inequivocamente, contribuir directamente para a melhoria das escolas (1), mas pretende também servir de base para a regulação geral do sistema (2) e ainda disponibilizar informação estruturada à comunidade (3). Estas múltiplas dimensões podem gerar tensões internas no processo, sobretudo entre (1) e (2), impedindo o seu sucesso pleno. Concretamente, o receio de que da avaliação externa possam resultar consequências negativas para as escolas e os seus agentes pode levar a comunidade escolar a adoptar uma atitude defensiva, contornando problemas que devem ser enfrentados e assim enfraquecendo a dimensão (1) do processo, porventura a mais importante.

Essa tensão pode ser agravada pelo facto do processo ser dirigido pela Inspecção-Geral da Educação, uma entidade historicamente mais vocacionada para a regulação do sistema do que para o apoio directo às escolas. O bom relacionamento entre as equipas de avaliação e os representantes das escolas, que parece ter sido generalizado, poderá ter contribuído, e continuar a contribuir, para minorar essa tensão.

Pelo contrário, tornar dependentes dos resultados da avaliação das escolas processos que premeiam ou penalizam profissionalmente directamente os seus agentes, designadamente a quota disponibilizada para os escalões mais elevados da avaliação a atribuir aos professores, pode agravar a referida tensão e comprometer todo o processo.

Esta dependência entre avaliação da escola e progressão profissional dos docentes parece ainda inadequada, pelo menos no momento actual, por se reconhecer que, apesar da recolha de alguns dados sociológicos elementares, não existem por agora condições para calcular o «valor acrescentado» produzido pelas escolas.

Finalmente, a justiça do sistema exigiria que o ónus de avaliações negativas recaísse sobre todos os que nele têm uma intervenção directa, nomeadamente ao nível da disponibilização das condições de exercício, estruturais e de apoio. A este respeito, parece desejável que a avaliação das escolas seja complementada com a avaliação de outras estruturas relevantes para a arquitectura do sistema, nomeadamente as estruturas de nível intermédio e central da administração escolar, cuja acção condiciona a actividade das escolas. Não é ainda certo se a aplicação do Sistema Integrado de Avaliação de Desempenho da Administração Pública (SIADAP) às instituições suprirá essa lacuna.

Ainda na fase preparatória é pedido às escolas um conjunto de documentos, designadamente um texto com a sua caracterização, documentos orientadores da sua vida interna e dados estatísticos. A este propósito, é de referir que no balanço da 2.ª fase de avaliação os intervenientes no processo, sobretudo as equipas de avaliadores, apontaram as dificuldades de acesso à informação estatística estruturada e com sequência temporal como um elemento que compromete o sucesso da avaliação, situação que urge corrigir. Entre os elementos a fornecer à equipa de avaliação afigura-se também desejável a inclusão de uma apreciação global dos alunos sobre a sua escola.

O texto com a caracterização da escola referido no parágrafo anterior deve ser organizado segundo um formato proposto pela Inspecção-Geral da Educação, explicitado no documento «Tópicos para a Apresentação da Escola», acessível na sua página electrónica. A preparação do texto deverá tomar como ponto de partida os documentos da auto-avaliação e reorganizar a informação da forma requerida. Esta solução permite, em princípio, às escola adoptar ou não o modelo de auto-avaliação, mas parece mais provável que estas venham a considerar conveniente adoptar modelos de auto-avaliação próximos da estrutura fixada pela Inspecção Geral da Educação para o documento de apresentação das escolas, condicionando indirectamente o processo de auto-avaliação.

Uma vez que as escolas têm realidades muito diferentes, esta pressão indirecta para a uniformização da auto-avaliação pode ter consequências negativas. Por outro lado, para as escolas com um processo de auto-avaliação mais frágil, pode servir de suporte à sua melhoria, eliminando a necessidade, por vezes sentida, de recurso a consultoria externa. Acresce que os tópicos propostos pela Inspecção-Geral da Educação incluem um último ponto (ponto 7) que engloba outros elementos (para além dos explicitamente solicitados nos pontos anteriores) relevantes para a caracterização das escolas, o que salvaguarda, pelo menos parcialmente, a possibilidade das escolas manifestarem as especificidades da sua realidade.

Finalmente, compreende-se que, para as equipas de avaliadores, a existência de uma linguagem minimamente compatível é um elemento facilitador da sua missão. Assim, considerados os prós e os contras, a existência de um guião para a preparação dos textos de apresentação das escolas afigura-se-nos positiva. Quanto à sua estrutura, esta parece adequada, sendo, no geral, de manter, sem prejuízo de aperfeiçoamentos pontuais.

Os elementos escritos fornecidos pela escola constituem um suporte importante para a avaliação dos cinco domínios previstos:

1) Resultados;

2) Prestação do serviço educativo;

3) Organização e gestão escolar;

4) Liderança;

5) Capacidade de auto-regulação e progresso da escola.

Cada domínio engloba entre dois e cinco subdomínios. Embora o conjunto de domínios cubra a acção das escolas, há problemas potenciais e reais associados ao instrumento de avaliação que requerem atenção.

Desde logo, há o risco deste se revelar redundante ou desequilibrado. O facto do instrumento adoptado ser estruturado em categorias globais definidas a priori, e não a posteriori, depois de uma análise factorial, transporta o risco de repetição de factores em diferentes itens. Uma escola pode ser sobrevalorizada porque um factor pode estar a ser repetidamente considerado, podendo haver um outro que, apesar de determinante, apenas surge uma vez e é por isso subvalorizado. Esta distorção repercute-se na ponderação dos indicadores e retira significado às classificações atribuídas.

Por outro lado, questiona-se o posicionamento de todos os domínios no mesmo patamar valorativo. Concretamente, o domínio resultados parece dever merecer valorização especial, uma vez que consubstancia toda a acção da escola (em particular se o entendimento dos resultados for multidimensional), i. e., a importância dos restantes quatro domínios resulta do seu impacto no domínio resultados. Em rigor, aliás, a avaliação das escolas poderia incidir exclusivamente sobre o domínio resultados (se entendidos de forma multidimensional, insiste-se), sendo ainda assim muito desejável a avaliação dos restantes quatro domínios, pois constitui o meio de diagnóstico do funcionamento da escola e explicam, em parte, os resultados alcançados.

A sobrevalorização do domínio resultados tornaria ainda mais crítico o problema dos padrões de medida de escala adoptados para a avaliação. Esse problema, aliás, está já bem presente no actual processo, pois não é claramente definido qual o padrão adoptado. A explicitação da escala de avaliação fica aquém da resolução desta deficiência, remetendo para a necessidade de definição de «ponto fraco e ponto forte» (fracos e fortes perante que padrões de medida?).

Em suma, pelas razões apontadas não se defende uma sobrevalorização acentuada do domínio resultados mas também não se concorda com a equiparação aos restantes, importando encontrar uma solução de equilíbrio entre estas duas posições. Embora se reconheça a dificuldade em encontrar padrões de medida de escala adequados, objectivos e universais, insta-se a que se caminhe nesse sentido construindo indicadores e respectivas ponderações de acordo com os objectivos dominantes da avaliação.

Nunca será demais, aliás, realçar a importância da definição dos domínios e subdomínios e da sua ponderação: eles representam o modelo de escola, apontam para as características que fazem de uma unidade uma escola exemplar ou um estabelecimento em dificuldades. São, afinal, o instrumento nuclear do processo avaliativo. Assim, importa, desde já, reavaliar e redefinir, à luz da experiência entretanto acumulada, os domínios, subdomínios e critérios de ponderação estabelecidos.

3.2 - Operacionalização no terreno - as visitas às escolas - a visita às escolas tem a duração média de dois dias e processa-se segundo um guião anteriormente disponibilizado. Inclui uma introdução aos trabalhos pela equipa de avaliadores, formada por dois elementos da Inspecção-Geral da Educação e por um perito externo. A presença desse perito parece desejável pois, para além da mais-valia técnico-científica que pode representar (o que depende de uma selecção exigente e criteriosa), ajuda a atenuar a imagem inspectiva do processo que, como já referido, pode comprometê-lo. Segue-se uma apresentação da escola pelo conselho executivo, visita às instalações e reuniões com diversos painéis, previamente constituídos.

A constituição dos painéis afigura-se como um passo crítico, pois dela depende em larga medida, por um lado, o envolvimento de toda a comunidade escolar, por outro a fiabilidade da imagem da escola apreendida pelos avaliadores. O estabelecimento dos painéis obedece a um figurino fornecido pela Inspecção-Geral de Educação, e assenta largamente na auscultação dos diversos órgãos da escola, surgindo como excessivamente institucional. Sugere-se que, para uma maior e mais descomprometida representatividade da comunidade escolar, os painéis englobem elementos não integrados em órgãos formais, escolhidos aleatoriamente entre os interessados.

A duração da visita às escolas parece ser, em numerosos casos, manifestamente insuficiente para a aquisição de uma perspectiva integrada da unidade. As diferenças de tempo atribuídos a escolas individuais e a agrupamentos de escolas não reflectem a diferença de complexidade destas situações. Nos agrupamentos, afigura-se desejável que as equipas de avaliadores possam visitar, ainda que brevemente, todas as escolas que os constituem, para respirar o ambiente escolar e conhecer directamente as instalações, contribuindo também para um maior envolvimento da comunidade escolar no processo de avaliação. Assim, parece desejável que, mantendo como tempo mínimo os dois dias, as visitas possam ser prolongadas até quatro dias nos agrupamentos de maiores dimensões.

No âmbito do processo de avaliação deveria assumir outra relevância a observação de aulas. É na sala de aula que se vive o essencial do processo educativo e uma avaliação incapaz de se debruçar sobre o que aí ocorre não cumpre plenamente as suas funções. O processo em curso não inclui essa observação, o que constitui uma potencial limitação. Compreende-se a dificuldade de incluir a observação de aulas no sistema de avaliação universal que se pretende implementar, não parecendo ser possível, nesse contexto, assegurar observações representativas. Em alternativa, sugere-se a inclusão, nos elementos fornecidos pela escola à Inspecção-Geral de Educação, dos resultados de observações cruzadas de aulas, efectuadas no contexto de dispositivos internos que permitam a regular observação de aulas pelos pares. Nesse sentido, parece desejável que as escolas implementem um sistema de supervisão cooperativa das aulas e mantenham obrigatoriamente um registo formal dos resultados.

Durante o estudo piloto as equipas avaliativas, no final da visita, comunicavam a representantes da comunidade escolar as suas primeiras impressões, procedimento que foi ulteriormente abandonado. Sugere-se que seja reintroduzido, de forma balizada, pois esse confronto imediato pode corrigir interpretações erradas, acrescentar dados e informações em falta e, assim, contribuir para a qualidade da avaliação final. Reconhecendo que essa comunicação, ainda que muito preliminar, exige o acerto de posições entre os elementos da equipa de avaliação, sugere-se que os programas de visita à escola prevejam, na fase final, um curto espaço de tempo para que, em condições de reserva, esse debate interno possa ocorrer.

3.3 - O pós-avaliação - as escolas tomam conhecimento dos resultados da avaliação através de um relatório elaborado pelos avaliadores, que é também disponibilizado na página electrónica da Inspecção Geral da Educação.

A estrutura desses relatórios é padronizada, e inclui, para além de uma introdução que o contextualiza e de uma breve descrição da unidade de gestão a que se refere, as classificações obtidas em cada domínio e a respectiva justificação, a descrição sintética e crítica da situação relativa a cada subdomínio e umas considerações finais em que se apontam pontos fortes e pontos fracos e oportunidades e constrangimentos.

As classificações obtidas e a análise crítica associada podem ser contestadas pela escola, por escrito, no processo do contraditório. Estes textos, cuja estrutura é totalmente livre, são disponibilizados na página electrónica da Inspecção-Geral de Educação, junto ao relatório de avaliação. O contraditório é analisado pela equipa de avaliação que, se acolher, pelo menos parcialmente, a contestação, pode introduzir alterações no relatório. O relatório é disponibilizado publicamente apenas nessa versão final alterada, o que dificulta a leitura do processo pelos interessados (i. e., nos casos em que a contestação é acolhida, é disponibilizado o contraditório, mas não a versão do relatório a que se refere a contestação, apenas a versão alterada em consequência). Importa, pois, disponibilizar publicamente o relatório inicial, o eventual contraditório e, quando exista, a versão final alterada do relatório.

Se predominar neste modelo de avaliação das escolas a perspectiva formativa - de apoio à evolução da instituição - como defendemos, a actual forma de resposta da equipa avaliadora ao contraditório, com as alterações na divulgação que preconizamos, parece adequada. Se, pelo contrário, prevalecer uma orientação reguladora, com prémios e punições associadas, é necessário instituir um verdadeiro mecanismo de recurso para uma entidade independente, com igual publicitação dos resultados da sua intervenção.

Talvez um dos aspectos a merecer maiores reparos no processo em análise seja, precisamente, o seguimento dado à avaliação. O simples fornecimento à escola de um diagnóstico externo dos seus problemas, louvável por si mesmo, não parece tirar partido de todo o potencial do processo avaliativo nem fazer jus ao esforço pedido aos intervenientes, avaliadores e avaliados. Para as escolas com avaliações negativas, importa, em conjunto com elas, estabelecer programas de recuperação e desenvolvimento, em estreita articulação e com co-responsabilização na sua execução da administração escolar. Este espírito parece estar presente no programa e tem sido reiterado pelos responsáveis políticos, mas não alcançou ainda a devida concretização. Pelo contrário, o estabelecimento de contratos de autonomia com 22 das 24 escolas avaliadas na fase piloto indicia - ainda que de forma ténue - uma prática que deve ter continuidade de forma mais célere e alargada. O processo conducente à assinatura dos contratos precisa, porém, de ser mais bem definido e processar-se de forma mais expedita. Gradualmente, a margem de autonomia das escolas deve também ser alargada.

3.4 - Análise de resultados - o número de escolas avaliadas e o facto de as avaliações terem incidido sobre instituições que aderiram de forma voluntária impedem que a partir de este grupo se infira para o total. A constatação de que os resultados globais evidenciados por esta avaliação são, em alguns aspectos, francamente positivos parece contrariar a imagem que a sociedade, em geral, manifesta sobre a escola pública e o respectivo corpo docente, mas decorre possivelmente das limitações apontadas. Ainda assim, vale a pena notar que os pontos fortes identificados pelo relatório de avaliação dizem sobretudo respeito a aspectos instrumentais, sendo o sucesso escolar e a articulação e sequencialidade na prestação do serviço educativo, os factores de avaliação mais referenciados como fragilidades, o que não pode deixar de constituir motivo de preocupação, exigindo reflexão cuidada. Neste contexto, a colocação, pelo presente modelo de avaliação, dos aspectos instrumentais e dos resultados no mesmo patamar de importância não ajuda à clarificação da imagem que se obtém do sistema. Nota-se, no relatório da IGE, a ausência de uma metaleitura dos resultados, por agora justificável pela sua escassez, mas que importa suprir no futuro.

4 - Orientações - a avaliação das escolas só faz sentido se for entendida como um instrumento político para uma estratégia de reconfiguração e mudança das políticas públicas do Estado para a educação e estiver associada a uma politica activa de promoção de autonomia da gestão e administração escolar. Caso contrário pode transformar-se num exercício retórico para gerir o status quo. Assim sendo, a avaliação deve tornar-se uma prática regular tendo como fim a inovação das práticas e o progresso nos resultados atingidos, exigindo por isso que os objectivos das escolas e do sistema estejam muito claramente estabelecidos. Deve assim ser assumida como um instrumento mobilizador de novas atitudes e práticas, numa lógica de auto-avaliação dos indivíduos, dos grupos e das próprias instituições, incrementando uma cultura e praxis de avaliação envolvendo uma participação e o conhecimento colectivo de diferentes actores, com legitimidades reconhecidas.

Concluímos este parecer com algumas orientações de carácter recomendatório:

4.1 - Qualquer modelo, sendo operativo, é construído com base em determinados pressupostos, à luz dos quais não poderá deixar de ser apreciado. A sua construção contém sempre imperfeições, que merecem uma continuada revisão. Sugere-se que este princípio genérico se aplique a este modelo avaliativo, estabelecendo-se procedimentos de revisão, mas sem quebra da continuidade epistemológica, permitindo a leitura de dados históricos, de que tanto carece o nosso sistema educativo.

4.2 - A Lei n.º 31/2002, de 20 de Dezembro, aprova o sistema de avaliação da educação e do ensino não superior, mas do que se tem tratado é de reduzir essa avaliação às escolas ficando de fora a administração educativa. As escolas não são organizações isoladas e não podem nesse quadro ser desligadas de uma avaliação mais global do sistema educativo e de ensino.

A aplicação do modelo deve gerar efeitos sobre outras vertentes do sistema, outras unidades e os outros subsistemas que interagem com as escolas, para que seja possível, numa lógica sistémica, detectar as diferentes causas e propor soluções que reforcem a fiabilidade, a credibilidade e o bom funcionamento do sistema.

4.3 - Do que se trata é de avaliar o valor acrescentado. Ou seja, os «ganhos educativos» é que devem ser a prioridade da avaliação. A salvaguarda da justiça do sistema, mesmo reconhecendo-se o carácter subjectivo que qualquer avaliação comporta e a dificuldade de salvaguarda da equidade e da justiça a par das exigências da eficácia e da eficiência, recomenda a ponderação do «valor acrescentado» da unidade de gestão conjugando os resultados obtidos com os pontos de partida e cruzando os resultados com o contexto e caracterização da escola. Não sendo fácil fazê-lo é no entanto possível começar a trilhar esse outro caminho.

4.4 - A avaliação interna/auto-avaliação tem de assumir uma particular centralidade e a sua articulação com a avaliação externa torna-se essencial. Esta deve colaborar para promover e incentivar as dinâmicas das escolas no sentido de reforçar as suas capacidades de auto-avaliação, enquanto organização, e as aprendizagens de cada um dos grupos da comunidade educativa. Importa apoiar directamente a auto-avaliação das escolas, nomeadamente, proporcionando formação adequada aos seus responsáveis.

4.5 - Sem deixar de haver uma necessária articulação avaliação/autonomia ou autonomia/avaliação, em consequência da avaliação não se devem penalizar as escolas que mais precisam dessa mesma autonomia para melhorarem os diferentes níveis de desempenho e aprendizagem. Assim sendo, é condição básica para o desenvolvimento de processos de avaliação interna e externa das escolas pôr em prática e celebrar contratos de autonomia em consonância com as diferentes realidades e contextos.

4.6 - Recomenda-se o aprofundamento do instrumento de avaliação, reduzindo o risco de redundância ou ausência de equilíbrio, gerado pelo facto de o instrumento adoptado ser estruturado em categorias globais determinadas logo no início do processo. O instrumento de avaliação merece também revisão e aprofundamento noutros aspectos, como os padrões de medida de escala, a ponderação dos diferentes indicadores para efeito de uma apreciação global, a inclusão de elementos de observação de aulas e a aferição de resultados da acção educativa da escola, não são mensuráveis através de provas escritas.

4.7 - Desaconselha-se, pelo menos nesta fase, qualquer ligação entre os resultados da avaliação das escolas e punições ou prémios dos seus agentes individuais, designadamente a quota de professores titulares e de atribuição dos escalões mais elevados na avaliação de professores.

4.8 - Reconhece-se que não tem havido acompanhamento, depois da entrega do relatório, por parte das equipas responsáveis do sistema e este remete para a administração educativa em geral essa tarefa. É também aqui que se joga uma parte importante das consequências da avaliação para a unidade de gestão e para as aprendizagens dos alunos - mudar práticas, processos e modelos em função das conclusões e orientações da avaliação de forma sustentada e acompanhada. Recomenda-se uma atenção particular para esta fase do modelo definindo estratégias e soluções coerentes com os objectivos do sistema.

4.9 - Os avaliadores devem ter preparação e formação específica para o efeito, de forma a garantir, entre outros aspectos, que as várias equipas adoptem critérios semelhantes. A informação quantitativa, importante seguramente, deve ser complementada com elementos de análise qualitativos e os avaliadores externos devem ter competências que sejam valor acrescentado para a heterogeneidade das equipas profissionais. Recorde-se que o item «Formação dos avaliadores» foi dos que mereceram mais menções discordantes quanto à sua adequação ao exercício da actividade.

4.10 - As competências e a entidade responsável pela avaliação externa são objecto de controvérsia. Aconselha a realidade e o peso da história - uma imagem social, ainda significativa, da inspecção como entidade de contencioso - um aprofundamento do debate que se pode ou não traduzir numa entidade independente ou em estruturas próprias e especializadas no âmbito da IGE. Na proposta do grupo de trabalho (relatório final, Dezembro, 2006) é referido «o trabalho conjunto de avaliadores mais e mais distantes das escolas, com diferentes sensibilidades, parece uma aposta ganha. Ao ser acolhido na IGE, importaria que o projecto, na constituição das equipas e no acompanhamento, mantivesse esta dimensão da participação externa à organização responsável pela avaliação». Devem ser deixadas, assim, para reflexão as observações e objecções que existem e persistem sobre a composição das equipas de avaliadores, sobre as características da entidade que é responsável pela avaliação externa e pelo processo subsequente à divulgação pública dos resultados de avaliação. Tem, neste quadro, toda a pertinência fazer esse aprofundamento analítico e retirar as devidas ilações. Porém, sem prejuízo desse processo, das audições às escolas e da leitura dos relatórios e contraditórios reconhece-se que, pese embora os receios, reserva e até desconfiança por parte de algumas escolas, parecem estar a ser criadas condições para a IGE fomentar a diversidade na aplicação do modelo e enriquecer a panóplia das suas actuações com um novo papel no quadro do sistema educativo.

4.11 - Reconhece-se como características positivas deste sistema de avaliação a transparência de procedimentos e comunicação de resultados (os relatórios, os contraditórios e sua apreciação). Importa ponderar as condições que é necessário criar para universalizar o processo.

27 de Maio de 2008. - O Presidente, Júlio Pedrosa de Jesus.