Kilka lat, które minęło od wprowadzenia reformy oświaty, skłaniają do postawienia pierwszych pytań o wymierne efekty zmian. Uzasadniając decyzję o powołaniu gimnazjów, władze oświatowe podkreślały argument poprawy jakości kształcenia. Czy zatem "nowy" system szkolny wpłynął na podwyższenie poziomu wiedzy i umiejętności u uczniów? Badania kompetencji prowadzone przez Instytut jeszcze w klasach VII i VIII dzisiaj okazują się doskonałym materiałem, na podstawie którego można pokusić się o porównanie osiągnięć edukacyjnych uczniów "sprzed" i "po" reformie. Niestety, porównanie to nie popiera argumentu, że reforma administracyjna polepszyła jakość nauczania.

Dysponując bazą danych o wynikach badań kompetencji  uczniów klas VIII z 1999 roku, Instytut wykonał w maju 2004 roku badanie porównawcze poziomu wiedzy i umiejętności w klasach II gimnazjum. Do tego celu użył identycznego narzędzia pomiaru, które spełniało wszystkie konieczne warunki, aby takie porównanie mogło być rzetelne i miarodajne.

Test matematyczno-przyrodniczy
Współczynnik rzetelności testu matematyczno-przyrodniczego (alfa Kronbacha) w 1999 roku wyniósł 0,902,  natomiast współczynnik dopasowania (obliczany w ramach probablistycznej teorii wyniku zadania testowego IRT) 0,888 w pięciostopniowej skali należał do przedziału najwyższego - excellent.

Współczynnik rzetelności w 2004 roku wyniósł także 0,902.

suma punktów możliwych do zdobycia przez ucznia w teście: 40 (100%)

Średni wynik osiągnięty przez uczniów VIII klas (25,28 - co stanowi 63% punktów możliwych do zdobycia) jest nieco wyższy od średniej uzyskanej przez populację II klasy gimnazjum (23,49, czyli 59% maksymalnej liczby punktów). Odchylenie standardowe, czyli rozrzut wyników testowania, było dla obu populacji niemal identyczne - 8,31 i 8,23.

Uwzględniając jednak różnice programowe (we wszystkich klasach VIII realizowano ten sam program, podczas gdy reforma dała nauczycielom gimnazjów możliwość wyboru programu), z analizy porównawczej testu wyłączono zadania, które obejmowały materiał wykraczający poza niektóre programy nauczania w II klasie gimnazjum: były to zadania nr 10, 11, 12. Wówczas parametry statystyczne testu otrzymały następujące wartości:

suma punktów możliwych do zdobycia przez ucznia w teście: 37 (100%)

Wyniki średnie i odchylenie standardowe "zbliżyły" te dwie populacje, ze wskazaniem jednak na ósmoklasistów - ich osiągnięcia mimo wszystko należy ocenić wyżej.

Badane kompetencje podzielono na 7 "obszarów". Poniższy wykres przedstawia zestawienie wyników w układzie sprawdzanych kompetencji (po odrzuceniu trzech zadań)
 

Większość umiejętności obie populacje uczniów opanowały na podobnym poziomie. Istotne różnice można zaobserwować w dziedzinie wykonywania obliczeń procentowych oraz rozwiązywania zadań tekstowych. Z zadaniami sprawdzającymi te umiejętności ósmoklasiści radzili sobie znacznie lepiej niż dzisiejsi gimnazjaliści.

Test humanistyczny
Współczynnik rzetelności testu humanistycznego zastosowanego w VIII klasie (w 1999 roku) i w II gimnazjum (w 2004 roku) był niemal identyczny - odpowiednio 0,801 i 0,803. Natomiast odchylenie standardowe, czyli rozproszenie wyników, okazało się większe w populacji gimnazjalistów (5,22) niż ósmoklasistów (4,93). Różnica ta jednak nie jest znacząca.
 

Ze względu na różnice programowe, w teście uprzednio zastosowanym wśród ósmoklasistów zmieniono dwa zadania (nr 17 i 18), które sprawdzały znajomość lektur.
Podsumowanie średnich wyników pokazuje - podobnie jak w przypadku testu matematyczno-przyrodniczego - że osiągnięcia "humanistyczne" obu populacji uczniów można uznać za podobne, znów jednak ze wskazaniem na ósmoklasistów. Średni wynik osiągnięty przez uczniów VIII klas (18,25 - co stanowi 65,2% punktów możliwych do zdobycia) jest nieco wyższy od średniej uzyskanej przez populację II klasy gimnazjum (17,5 punktu, czyli 62,5% maksymalnej liczby punktów).

Poniższy wykres przedstawia szczegółowe zestawienie wyników w układzie sprawdzanych kompetencji.

Umiejętności polegające na wyszukiwaniu informacji w tekście literackim oraz na wyszukiwaniu i analizowaniu informacji w tekście popularnonaukowym obie populacje opanowały na tym samym poziomie (odpowiednio: 67% - 66%, 51% - 50%). Natomiast cztery inne sprawdzane umiejętności ósmoklasiści opanowali lepiej. Różnice nie są duże, ale w dwóch dziedzinach uczniowie VIII klas okazali się wyraźnie lepsi (różnica 6%) - w posługiwaniu się pojęciami z zakresu nauki o literaturze oraz edukacji czytelniczej.

Analizując poszczególne zadania, można sformułować wniosek, że zadania łatwe dla ósmoklasistów były też łatwe dla gimnazjalistów, a trudne przed pięcioma laty - są trudne także i dzisiaj.

Na 28 zadań w teście tylko 1 zadanie (nr 29) gimnazjaliści rozwiązali lepiej (7%). Było to jedno z grupy zadań sprawdzających umiejętność wyszukiwania i analizowania informacji w tekście popularnonaukowym. Jego poprawne rozwiązanie wymagało czytania ze zrozumieniem nie tylko fragment tekstu, ale także treści zadania.

Generalnie różnice w łatwości poszczególnych zadań nie są duże. Zwraca jednak uwagę duża dysproporcja w wynikach rozwiązania kilku zadań - zdecydowanie lepiej radzili sobie z nimi ósmoklasiści. Na przykład zadanie nr 20 było aż o 16% "trudniejsze" dla gimnazjalistów, a chodziło w nim o sprawdzenie, czy uczeń potrafi posługiwać się katalogiem alfabetycznym. Natomiast zadanie nr 22, sprawdzające umiejętność wykorzystania w praktyce wiadomości z zakresu nauki o języku, było w gimnazjach trudniejsze o 12% niż w dawnych podstawówkach.

Gimnazja nie poprawiły, jak dotąd, obrazu naszego szkolnictwa. Uczniowie "po" reformie wcale nie są lepsi od tych "sprzed". Gdy porównamy osiągnięcia edukacyjne obu populacji, wyłania się obraz zbliżonych umiejętności - nawet ze wskazaniem na dawną podstawówkę... Zmiany administracyjne to zbyt mało, aby w istotny sposób podnieść poziom nauczania w polskiej szkole.