Merytoryczna ocena pracy dyplomowej polega na ocenie treści pracy pod kątem jej merytorycznej poprawności i rzetelności. Oceniający sprawdza, czy praca spełnia cele i zakres badań, czy jest logiczna i spójna, a także czy zawiera wszystkie wymagane elementy.
Kryteria merytorycznej oceny pracy dyplomowej mogą obejmować:
- Poprawność problemu badawczego: czy problem badawczy jest jasno określony, czy jest związany z aktualnymi i ważnymi dla dziedziny badań problemami, czy jest rozwiązywalny w ramach pracy dyplomowej.
- Poprawność metodologii badań: czy metodologia badań jest odpowiednia do celów i zakresu badań, czy jest logiczna i spójna, czy jest przedstawiona w sposób jasny i zrozumiały.
- Poprawność analizy danych: czy dane zostały prawidłowo zebrane, opisane i przedstawione, czy analiza danych jest odpowiednia do celów i zakresu badań, czy wyniki są interpretowane i wnioski są prawidłowe.
- Poprawność przedstawienia wyników: czy wyniki badań są przedstawione w sposób jasny i zrozumiały, czy są odpowiednio udokumentowane i oparte na danych, czy wyniki są przedstawione w odniesieniu do hipotez i celów badań.
- Poprawność przedstawienia wniosków: czy wnioski są odpowiednie i odnoszą się do celów i zakresu badań, czy są przedstawione w sposób jasny i zrozumiały, czy są oparte na danych i analizie danych.
- Poprawność przedstawienia pracy: czy praca jest przedstawiona zgodnie z wymaganiami formalnymi, czy jest czytelna, zrozumiała i estetyczna.
- Poprawność przedstawienie kontekstu badań i związku z literaturą.
Poniżej przykładowe kryteria oceny pracy dyplomowej:
- Czy teza (tezy) została w pracy jasno sformułowana i udowodniona?
- Jaki cel (zadanie) został postawiony przed pracą? Dlaczego jest on ważny?
- W jaki sposób i w jakim zakresie praca wpisuje się w istniejący stan badań danej tematyki?
- Jaką metodologię badawczą zastosowano w pracy? Czy jest ona adekwatna do założonego celu?
- Czy dobór materiału źródłowego oraz opracowań naukowych jest trafny i aktualny? Czy jego wykorzystanie przyczynia się do klarowności oraz ciągłości wywodu naukowego przedstawionego w pracy?
- W jakim stopniu osiągnięte wyniki badań stanowią systematyzujący lub/i oryginalny wkład autora w daną problematykę badawczą?
Ocena merytoryczna pracy zobowiązuje ewaluatorów do przedstawienia syntetycznej opinii o wartości merytorycznej całego opracowania. W tym pytaniu konieczne jest sprecyzowanie, w jakim stopniu studia spełniają warunki pracy dyplomowej.
Ocena merytoryczna zaczyna się w praktyce znacznie wcześniej niż przy lekturze rozdziału badawczego. Już po przeczytaniu tytułu, wstępu i spisu treści recenzent jest w stanie wyrobić sobie pierwsze zdanie na temat tego, czy autor miał wyraźny pomysł na pracę. Jeśli temat jest konkretny, cel został sformułowany jasno, a kolejne rozdziały prowadzą do jego realizacji, powstaje wrażenie opracowania przemyślanego. Jeżeli natomiast tytuł zapowiada jedno zagadnienie, we wstępie pojawia się inne, a plan pracy rozwija jeszcze kilka kolejnych wątków, trudno później mówić o pełnej spójności merytorycznej.
Wysoko oceniana praca nie musi być oparta na wyjątkowo oryginalnym czy bardzo skomplikowanym problemie. Znacznie ważniejsze jest to, aby autor rzeczywiście panował nad zakresem, który sam sobie wyznaczył. Stosunkowo prosty temat może zostać opracowany bardzo dobrze, jeśli student właściwie dobierze literaturę, przeprowadzi sensowne badania, poprawnie zinterpretuje wyniki i wyciągnie z nich wnioski. Z kolei ambitny temat może wypaść słabo, gdy zostanie potraktowany powierzchownie.
Recenzent zwraca uwagę również na to, czy autor rozumie używane pojęcia. Jest to szczególnie widoczne w części teoretycznej. Można zebrać kilkanaście definicji danego zagadnienia, ale jeśli zostaną one jedynie ustawione jedna po drugiej, niewiele mówi to o samodzielności studenta. Lepsze wrażenie robi sytuacja, w której autor pokazuje różnice pomiędzy stanowiskami, dostrzega podobieństwa i wskazuje, które podejście będzie wykorzystywał w dalszej części pracy.
W tym miejscu ujawnia się bardzo ważna różnica między referowaniem a analizą. Referowanie polega na przedstawianiu tego, co napisali inni. Analiza wymaga natomiast uporządkowania tych informacji, porównania ich oraz wyprowadzenia własnych spostrzeżeń. Praca dyplomowa oczywiście musi opierać się na literaturze, ale nie powinna być jedynie kompilacją cudzych poglądów. Recenzent powinien mieć możliwość zauważenia, gdzie zaczyna się własny tok rozumowania autora.
Nie oznacza to, że student powinien na siłę tworzyć własne teorie. Wkład własny może mieć znacznie bardziej praktyczny charakter. W pracy ekonomicznej może to być analiza danych przedsiębiorstwa, w pedagogicznej – badanie określonej grupy uczniów lub nauczycieli, w pracy z zarządzania – ocena konkretnego procesu organizacyjnego, a w pracy prawniczej – samodzielne porównanie regulacji i interpretacja rozwiązań normatywnych. Istotne jest, aby autor nie ograniczył się do odtworzenia tego, co można znaleźć w podręczniku.
Bardzo dużo o poziomie merytorycznym pracy mówi sposób korzystania z literatury. Recenzent szybko zauważy, czy cały rozdział został napisany na podstawie dwóch książek, czy też autor rzeczywiście przeprowadził szerszą kwerendę. Ważna jest także aktualność źródeł. W przypadku teorii klasycznych starsze publikacje są całkowicie uzasadnione, ale przy tematach związanych z szybko zmieniającą się gospodarką, technologią czy prawem brak nowszych opracowań może być poważnym mankamentem.
Nie chodzi przy tym o prostą zasadę, że im więcej pozycji znajduje się w bibliografii, tym lepsza jest praca. Liczy się sposób ich wykorzystania. Bibliografia obejmująca sto pozycji nie robi dobrego wrażenia, jeśli większość z nich nie ma znaczenia dla prowadzonego wywodu. Znacznie wartościowszy jest mniejszy zestaw dobrze dobranych publikacji, który rzeczywiście tworzy podstawę poszczególnych rozdziałów.
W ocenie merytorycznej szczególne miejsce zajmuje metodologia. To właśnie tutaj można zobaczyć, czy badanie zostało rzeczywiście zaplanowane, czy raczej przeprowadzone przypadkowo, a dopiero później próbowano dopasować do niego problemy i hipotezy. Jeśli autor najpierw formułuje pytania badawcze, następnie dobiera do nich odpowiednią metodę i konstruuje narzędzie pozwalające zdobyć potrzebne dane, całość ma logiczny charakter.
Problemy pojawiają się wtedy, gdy między tymi elementami brakuje związku. Przykładowo student deklaruje, że chce zbadać wpływ systemu premiowania na efektywność pracowników, ale przeprowadza ankietę zawierającą głównie pytania o ogólne zadowolenie z pracy. Na podstawie takich danych trudno później odpowiedzieć na główny problem. Nawet bardzo estetyczne wykresy nie naprawią błędu powstałego już na etapie projektowania badania.
Recenzent patrzy także na sam materiał empiryczny. Ważne jest, czy autor wyjaśnił, skąd pochodzą dane, jak zostały zebrane, ilu respondentów uczestniczyło w badaniu i dlaczego wybrano właśnie tę grupę. Jeżeli pewne informacje są niedostępne lub próba jest ograniczona, nie musi to automatycznie obniżać wartości pracy. Problemem jest raczej sytuacja, w której autor nie dostrzega tych ograniczeń albo próbuje na podstawie niewielkiego badania formułować bardzo szerokie uogólnienia.
Sposób przedstawienia wyników jest kolejnym miejscem, w którym łatwo odróżnić pracę przeciętną od dobrej. W słabszych opracowaniach rozdział badawczy często przybiera formę opisywania kolejnych wykresów: „na pytanie pierwsze odpowiedziało tak 40% badanych, inaczej 35%, a jeszcze inaczej 25%”. Następnie autor przechodzi do następnego pytania i powtarza ten sam schemat. W efekcie powstaje raport z ankiety, a nie analiza naukowa.
Dobra analiza powinna szukać znaczenia tych wyników. Autor powinien zastanowić się, dlaczego respondenci odpowiadali w określony sposób, czy występują różnice pomiędzy grupami, czy wyniki są zgodne z założeniami teoretycznymi oraz czy potwierdzają ustalenia innych badaczy. Często najbardziej wartościowe są nie pojedyncze wartości procentowe, lecz zależności pojawiające się pomiędzy różnymi odpowiedziami.
Przykładowo samo stwierdzenie, że większość pracowników pozytywnie ocenia atmosferę w firmie, ma ograniczoną wartość. Znacznie ciekawsze może być zauważenie, że ocena ta jest wyraźnie wyższa wśród osób z krótszym stażem albo w konkretnym dziale. Wtedy wyniki zaczynają prowadzić do rzeczywistych wniosków, a nie tylko do odtworzenia zawartości kwestionariusza.
Wnioski są zresztą jednym z najbardziej uważnie ocenianych fragmentów. To w nich powinno być widoczne, czy autor rozumie, co właściwie wynika z jego pracy. Wnioskiem nie jest powtórzenie informacji, że „54% badanych wybrało odpowiedź A”. Wnioskiem jest dopiero interpretacja mówiąca, co taka odpowiedź oznacza z punktu widzenia badanego problemu.
Szczególnie źle oceniane mogą być wnioski, które pojawiają się bez podstawy w materiale. Jeżeli w badaniu nie pytano o możliwość awansu, trudno później rekomendować przedsiębiorstwu zmianę systemu awansowania i przedstawiać to jako efekt przeprowadzonych badań. Rekomendacje powinny wynikać z tego, co rzeczywiście udało się ustalić.
W pracy zawierającej hipotezy recenzent sprawdzi również, czy zostały one rzeczywiście zweryfikowane. Nie wystarczy sformułować ich w części metodologicznej, a następnie o nich zapomnieć. Powinny powrócić w analizie i zakończeniu. Co ważne, nie trzeba za wszelką cenę doprowadzać do ich potwierdzenia. Hipoteza odrzucona na podstawie dobrze przeprowadzonego badania jest pełnoprawnym wynikiem.
Merytoryczna dojrzałość autora ujawnia się również w umiejętności wskazania ograniczeń własnej pracy. Student nie powinien przedstawiać swoich wyników jako uniwersalnych, jeśli przeprowadził niewielkie badanie w jednej organizacji. Znacznie lepiej jasno określić, że wyniki odnoszą się przede wszystkim do badanego przypadku i mogą stanowić punkt wyjścia do szerszych analiz. Takie zastrzeżenie pokazuje świadomość metodologiczną.
Recenzent zwraca także uwagę na proporcje. Jeśli praca liczy osiemdziesiąt stron, z czego sześćdziesiąt pięć stanowi teoria, a badania własne zostały przedstawione na dziesięciu stronach, można zastanawiać się, czy autor rzeczywiście osiągnął odpowiedni poziom samodzielności. Nie chodzi o matematyczne dzielenie objętości, ale o zachowanie równowagi odpowiadającej charakterowi pracy.
Znaczenie ma również spójność między rozdziałami. Czasami poszczególne części są poprawne same w sobie, ale funkcjonują jak niezależne opracowania. Rozdział teoretyczny mówi o jednym, część badawcza dotyczy czegoś trochę innego, a zakończenie wprowadza jeszcze nowe wątki. W takiej sytuacji nawet poprawne fragmenty nie tworzą dobrej całości.
Najlepsze prace mają wyraźną linię przewodnią. Czytelnik widzi, po co pojawia się określona teoria, dlaczego wybrano konkretną metodę i skąd wynikają późniejsze wnioski. Każdy kolejny element służy rozwiązaniu problemu wskazanego na początku. Taka konsekwencja jest często znacznie ważniejsza niż efektowne sformułowania czy nadmierna liczba zagadnień.
Warto więc spojrzeć na własną pracę jeszcze przed oddaniem tak, jak zrobi to recenzent. Najlepiej na chwilę przestać poprawiać pojedyncze zdania i spróbować ocenić dokument jako całość. Czy po przeczytaniu wstępu wiadomo, czego autor chce się dowiedzieć? Czy część teoretyczna rzeczywiście przygotowuje do badania? Czy zastosowana metoda pozwala rozwiązać postawiony problem? Czy wyniki zostały zinterpretowane, a nie tylko opisane? Czy zakończenie odpowiada na pytania pojawiające się na początku?
Tego rodzaju kontrola jest znacznie bardziej wartościowa niż ostatnie kosmetyczne poprawki. Student często koncentruje się pod koniec na czcionce, marginesach czy numeracji, bo błędy formalne łatwo zauważyć. Tymczasem recenzent będzie przede wszystkim szukał sensu całego przedsięwzięcia badawczego.
Merytorycznie dobra praca nie musi być pozbawiona wszelkich niedoskonałości. Recenzent może mieć zastrzeżenia do części metodologii, niektórych sformułowań czy zakresu badań, a mimo to wysoko ocenić opracowanie, jeśli widoczna jest samodzielność, poprawny tok rozumowania i świadome wykorzystanie materiału. Znacznie trudniej obronić pracę, która jest poprawna formalnie, ale nie wiadomo, jaki problem właściwie rozwiązuje.
Ocena merytoryczna jest więc w dużej mierze oceną tego, czy autor potrafił zamienić temat w rzeczywiste zadanie badawcze, a następnie konsekwentnie je wykonać. Dobra praca powinna pozostawić po lekturze jasną odpowiedź na trzy pytania: co badano, czego się dowiedziano i dlaczego te ustalenia są warte przedstawienia. Jeśli odpowiedzi są wyraźne i wynikają z całego opracowania, podstawowy warunek merytorycznej wartości pracy został spełniony.