Tworzenie testów edukacyjnych: jak to zrobić

Spis treści:

• Co musisz wiedzieć przed stworzeniem testu
• Tworzenie testu: praktyczne wskazówki
• Jak sprawdzić, czy test działa

Kto pomógł w zrozumieniu sytuacji?

Naukowiec w Laboratorium Pomiaru Nowych Konstruktów i Projektowania Testów w Centrum Psychometrii i Pomiarów w Edukacji w Instytucie Edukacji Wyższej Szkoły Ekonomicznej. Kieruje projektem 4K, który koncentruje się na pomiarze krytycznego myślenia, kreatywności, komunikacji i współpracy. Jest również wykładowcą w Instytucie Edukacji, gdzie prowadzi zajęcia z psychometrii i metodologii pomiaru w psychologii i edukacji. Specjalizuje się w opracowywaniu innowacyjnych metod oceny efektów edukacyjnych i cech psychologicznych.

W tym artykule omówimy proces tworzenia testów edukacyjnych, które mają na celu sprawdzenie wiedzy i umiejętności przedmiotowych. Opracowane tu zasady można również zastosować do testów oceniających cechy psychologiczne lub umiejętności miękkie. Zasady tworzenia skutecznych testów są uniwersalne i obejmują jasno sformułowane pytania, różnorodne typy zadań i zapewnienie obiektywnej oceny. Naszym celem jest pomoc w tworzeniu wysokiej jakości testów, które skutecznie mierzą wiedzę i umiejętności uczestników.

W tym materiale zdobędziesz informacje na temat tego, co Cię interesuje. Omówimy kluczowe aspekty tematu, aby pomóc Ci lepiej go zrozumieć. Dokładne zrozumienie tematu pozwoli Ci podejmować bardziej świadome decyzje i poszerzyć Twoją wiedzę w tym zakresie. Spodziewaj się dogłębnej analizy i pomocnych wskazówek, które odnoszą się do Twojej sytuacji.

• Czy można sprawdzić umiejętności rozumowania ucznia za pomocą testu wielokrotnego wyboru?
• Czy za pomocą testu można zmierzyć nie tylko wiedzę faktograficzną, ale także zrozumienie materiału edukacyjnego?
• Czy trudne zadania różnią się od trudnych i dlaczego test może być trudny, ale lepiej go nie utrudniać?
• Od których zadań lepiej zacząć – łatwych czy trudnych;
• Jaka liczba odpowiedzi jest optymalna;
• Jak sprawdzić, czy test działa?

Co musisz wiedzieć przed opracowaniem testu

Psychometrycy definiują test jako narzędzie do pomiaru różnych cech, w tym gier fabularnych, esejów i oceny portfolio. W tym kontekście skupimy się na najpopularniejszym rodzaju testu, który w języku rosyjskim oznaczany jest terminem „test” w węższym znaczeniu. Dotyczy to pytań wielokrotnego wyboru. Takie testy są szeroko stosowane w psychologii i edukacji do oceny wiedzy, umiejętności i cech osobowości. Przeanalizujemy ich strukturę, zastosowanie i zalety, a także ich wpływ na wyniki testów.

Standardowe testy w edukacji cieszą się kontrowersyjną opinią. Jednak psychometrycy nadal popierają tę metodę oceny, argumentując, że testy wielokrotnego wyboru są skalowalne, sprawiedliwe i obiektywne. Oznacza to, że ten sam test można wykorzystać do oceny nieograniczonej liczby uczniów, zapewniając równe szanse dla wszystkich. Co ważne, na wyniki testów nie wpływają czynniki zewnętrzne ani subiektywne opinie.

Jednak każdy psychometryk zauważy, że testy wielokrotnego wyboru nie są narzędziem uniwersalnym. Wybór metody oceny zależy od konkretnego konstruktu, który ma być mierzony. W psychometrii konstrukt to właściwość psychiczna lub zdolność, której nie można bezpośrednio zaobserwować, ale można ją ocenić poprzez zewnętrzne przejawy behawioralne. Podkreśla to znaczenie wyboru odpowiednich metod oceny w celu uzyskania wiarygodnych wyników.

Testy wielokrotnego wyboru są idealne do Ocenianie wiedzy w różnych konstruktach, zwłaszcza w odniesieniu do informacji faktograficznych i konkretnych umiejętności technicznych. Skutecznie sprawdzają one zrozumienie kluczowych pojęć, takich jak podział poleceń w językach programowania. Korzystanie z takich testów pomaga określić poziom wiedzy i szybko ocenić umiejętności w danym obszarze. Testy wielokrotnego wyboru są nieskuteczne w ocenie umiejętności uczniów w zakresie rozumowania, interakcji z kolegami i znajdowania praktycznych rozwiązań w złożonych sytuacjach. Im bardziej złożone umiejętności podlegają ocenie, tym bardziej adaptacyjne i wielofunkcyjne musi być narzędzie do pomiaru tych kompetencji. Skuteczne metody oceny muszą uwzględniać specyfikę interakcji i umiejętności analitycznych, co sprawia, że ​​tradycyjne testy są niewystarczające do kompleksowej analizy kompetencji uczniów.

Testy mogą ujawnić tylko określone rodzaje wiedzy. Każdy przedmiot posiada podstawowe fakty, które można wykorzystać do tworzenia pytań wielokrotnego wyboru. Na przykład, możesz zapytać o rok odkrycia Ameryki przez Krzysztofa Kolumba. Takie pytania pomagają sprawdzić zrozumienie podstawowych informacji, ale nie zawsze odzwierciedlają głębię wiedzy. Aby uzyskać bardziej kompleksową ocenę wiedzy, konieczne jest zastosowanie różnorodnych formatów pytań, które wymagają krytycznego myślenia i analizy.

Istnieją elementy wiedzy, których opanowanie wymaga czegoś więcej niż tylko zapamiętywania. Na przykład, jeśli chcemy zrozumieć wydarzenia i zjawiska, które doprowadziły do ​​odkrycia Ameryki, pytania wielokrotnego wyboru nie będą tak skuteczne. Aby dogłębnie zrozumieć ten temat, ważne jest przeanalizowanie kontekstów historycznych, ocena wpływu różnych czynników i zrozumienie konsekwencji, co wymaga bardziej złożonych metod nauczania i zrozumienia.

Każdy nauczyciel dąży do tego, aby uczniowie nie tylko zapamiętywali fakty, ale także opanowali materiał na głębokim poziomie. Jednak mierzenie zrozumienia pozostaje dziś złożonym zadaniem. Być może w przyszłości neuronauka dostarczy nam narzędzi do monitorowania procesów zachodzących w mózgu każdego ucznia. Obecnie psychometria koncentruje się na obserwowalnych aspektach i przejawach behawioralnych, ale uniwersalne kryteria rozumienia nie zostały jeszcze opracowane.

W pomiarach pedagogicznych, które wymagają oceny głębszej, niefaktycznej wiedzy, nacisk przesuwa się z prostego rozumienia na umiejętność interpretowania i analizowania informacji. W tym kontekście zadania otwarte, a także symulacje komputerowe i gry okazują się skuteczniejsze niż testy wielokrotnego wyboru. Takie narzędzia tworzą bardziej elastyczne środowisko testowe, umożliwiając lepszą ocenę rzeczywistych umiejętności i wiedzy uczniów.

Tworzenie testu: praktyczne wskazówki

Jeśli Twoim celem jest ocena nabywania wiedzy faktograficznej lub konkretnych umiejętności, test wielokrotnego wyboru jest idealny. Stworzenie i dystrybucja takiego testu nie wymaga skomplikowanych platform cyfrowych. Narzędzia takie jak Formularze Google czy Yandex wystarczą do wykonania podstawowych zadań. Usługi te ułatwiają tworzenie ankiet i testów, dzięki czemu proces oceny wiedzy jest prosty i przystępny.

W tej części artykułu szczegółowo omówimy kluczowe aspekty tworzenia wysokiej jakości testów. Jeśli chcesz pogłębić swoją wiedzę na ten temat, zalecamy zapoznanie się z książką Haladyny T. M. i Rodrigueza M. C. „Developing and validating test items” (Routledge, 2013) oraz innymi pracami tych autorów. Niestety, to wydanie nie jest dostępne w języku rosyjskim.

Uczniowie często czują się zmęczeni pod koniec testu. W rezultacie ostatnie zadania nie zawsze odzwierciedlają poziom ich wiedzy. Wskazuje to na konieczność optymalnego ograniczenia czasu trwania testu.

Krótkie testy mają niską wiarygodność. Uczeń może udzielić nieprawidłowej odpowiedzi z powodu nieuwagi lub, przeciwnie, przypadkowo odgadnąć prawidłową odpowiedź. Dłuższe testy zmniejszają prawdopodobieństwo wystąpienia takich błędów, ponieważ błędy losowe mogą się wzajemnie kompensować. Zatem im więcej pytań w teście, tym większe prawdopodobieństwo uzyskania wiarygodnego wyniku. Rzetelne testy są ważnym narzędziem oceny wiedzy i umiejętności, dlatego warto zwrócić uwagę na ich długość i strukturę.

Określenie optymalnej długości testu opiera się na czasie potrzebnym na wykonanie jednego zadania. Czas ten zmienia się w zależności od złożoności pytań i może wynosić od kilkudziesięciu sekund do pięciu minut. Ważne jest również uwzględnienie wieku uczniów, ponieważ młodsi uczniowie mogą potrzebować więcej czasu na rozwiązanie zadań niż starsi. Opracowując test, należy dążyć do zbilansowanej liczby pytań, aby utrzymać uwagę i zainteresowanie uczniów, a także zapewnić im możliwość odpowiedniej oceny ich wiedzy.

• Dzieciom przed okresem dojrzewania nie należy zadawać zadań dłuższych niż 20 minut – w przeciwnym razie należy zapewnić możliwość przerwy w teście.
• W przypadku starszych nastolatków i uczniów, a także dorosłych, lepiej jest rozpocząć od czasu trwania zwykłej lekcji. Na przykład dla ucznia szkoły średniej normalnym jest poświęcenie 45-minutowej lekcji na test (lub dwóch lekcji z przerwą pomiędzy). Studenci mogą już przystąpić do 80-minutowego testu.
• W edukacji uzupełniającej dla dorosłych należy wziąć pod uwagę, że dorosły nie czuje się już zobowiązany do udziału w testach. Potrzebuje dodatkowej motywacji. Można na przykład obiecać indywidualną informację zwrotną na temat wyników testu (i koniecznie ją przekazać!).

Złota zasada brzmi: im więcej czasu w kursie poświęcono danemu tematowi, tym więcej pytań znajdzie się na teście końcowym. Wynika to z faktu, że podczas opracowywania kursu kładzie się nacisk na najważniejsze tematy, co implikuje ich dogłębne przestudiowanie, a co za tym idzie, zwiększenie liczby pytań sprawdzających przyswojenie materiału. Dlatego ważne jest, aby zrozumieć, że rozkład godzin ma bezpośredni wpływ na strukturę testu końcowego i poziom przygotowania studenta.

Zaleca się zadanie co najmniej trzech pytań na każdy temat, o ile nie są one zbyt szczegółowe. Pozwoli to zrównoważyć przypadkowe błędy i uzyskać bardziej obiektywne wyniki. Ważne jest, aby udzielać informacji zwrotnej nie tylko na temat poszczególnych zadań, ale także na temat całości, aby zapewnić dogłębne zrozumienie materiału. Takie podejście sprzyja efektywniejszej nauce i pomaga zidentyfikować kluczowe aspekty wymagające dodatkowej uwagi.

W psychometrii zadania mogą być trudne, ale nie złożone. Stopień trudności w tym obszarze jest definiowany tak samo, jak w języku rosyjskim. Pomyślne wykonanie trudnego zadania wymaga wysokiego poziomu wiedzy na dany temat. W rezultacie tylko nieliczni studenci będą w stanie poradzić sobie z takimi zadaniami.

Trudność to ważne pojęcie psychometryczne, które określa liczbę działań i operacji poznawczych niezbędnych do rozwiązania problemu. Rozważmy przykład matematyczny: dzielenie 0,219 przez 0,365 jest uważane za trudne, ale nie za złożone, ponieważ do jego wykonania potrzebna jest tylko jedna czynność. Zatem trudność zadania może być związana z jego percepcją, podczas gdy złożoność jest określana przez liczbę kroków wymaganych do osiągnięcia wyniku.

Zaleca się rozpoczęcie testu od prostszych zadań, ponieważ poziom stresu jest zazwyczaj wyższy na początku, co może negatywnie wpłynąć na wyniki. Jeśli test składa się z bloków tematycznych, wskazane jest ułożenie zadań w każdym z nich w kolejności rosnącego poziomu trudności – od łatwego do trudnego. Takie podejście przyczynia się do dokładniejszej oceny wiedzy i zmniejsza niepokój uczestników.

Kwestia podziału na bloki tematyczne jest złożona i wieloaspektowa. Z jednej strony wskazane jest, aby osoba badana skupiła się na jednym konkretnym temacie przez cały czas trwania testu. Pozwala to na dokładniejszą analizę jej wiedzy i umiejętności w danym obszarze. Z drugiej strony należy ocenić umiejętność osoby rozwiązującej test do szybkiego przełączania się między różnymi zadaniami i problemami. To podejście pozwala nam określić poziom adaptacji i wielozadaniowości, co jest również ważne w dzisiejszym dynamicznym świecie.

Metoda testowania zależy na temat konkretnej dyscypliny i celów testu. Zapewnienie równych szans wszystkim uczestnikom jest kluczowe, umożliwiając porównywanie wyników. Testowanie powinno być zorganizowane tak, aby każdy zdający miał dostęp do tych samych zasobów i informacji, co sprzyja obiektywnej ocenie.

Podział testu na bloki jest ważną praktyką, ponieważ pozwala zdającym rozpoznać, że test ma pewne ograniczenia. W środowisku testowania komputerowego, gdzie nie można przewijać zadań i oszacować, ile pytań pozostało, staje się to szczególnie ważne. Ponadto ważne jest, aby poinformować uczestników z wyprzedzeniem o limitach czasowych na odpowiedzi na pytania, aby mogli mądrze zarządzać swoim czasem. Sprzyja to efektywniejszemu testowaniu i zmniejsza poziom stresu u zdających.

Obecnie najpopularniejszą formą testowania są testy podobne do tych stosowanych w egzaminie Unified State Exam, które oferują cztery opcje odpowiedzi. Uważa się, że wybór dokładnie czterech opcji wynika z ograniczeń ludzkiej pamięci roboczej: uważa się, że przeciętna osoba może jednocześnie zapamiętać około czterech elementów. To wyjaśnienie podkreśla znaczenie projektowania testów uwzględniających cechy poznawcze, co przyczynia się do skuteczniejszej oceny wiedzy.

Psychologowie poznawczy uważają to uzasadnienie za nienaukowe. Najprawdopodobniej cztery odpowiedzi zostały wybrane losowo i nie ma w tej liczbie nic biologicznie ani psychologicznie zdeterminowanego. Możliwe są również inne opcje, takie jak tylko trzy odpowiedzi.

Tworzenie większej liczby niepoprawnych odpowiedzi jest często trudnym zadaniem.

Tworzenie niepoprawnych odpowiedzi to złożona sztuka psychometryczna. Opcje te, znane jako dystraktory, mają na celu odwrócenie uwagi od poprawnej odpowiedzi. Skuteczne dystraktory muszą być logiczne i wiarygodne, aby osoba badana nie mogła łatwo zidentyfikować prawidłowej odpowiedzi. Wysokiej jakości niepoprawne odpowiedzi wymagają dogłębnego zrozumienia tematu i specyfiki pytań, co sprawia, że ​​ich opracowanie jest ważnym aspektem testowania i oceny.

Kluczowym aspektem tworzenia pytań testowych jest konieczność sformułowania niepoprawnych odpowiedzi tak, aby wydawały się wiarygodne i podobne do odpowiedzi poprawnej. Pomaga to uniknąć nieporozumień i zwiększa zaangażowanie uczestników. Na przykład, jeśli pytanie brzmi „Który rok?”, wszystkie odpowiedzi powinny odnosić się do dat z tego samego przedziału czasowego. Uniemożliwi to uczestnikom łatwe odrzucanie błędnych odpowiedzi, co sprawi, że test będzie bardziej wymagający i angażujący.

Nieprawidłowe odpowiedzi nie powinny zawierać poprawnej odpowiedzi ani jej części. Jeśli taka opcja istnieje, w pytaniu należy wyjaśnić, że osoba zdająca test musi wybrać najpoprawniejszą odpowiedź. Pomoże to uniknąć nieporozumień i zapewni rzetelną ocenę.

Najwyższym poziomem umiejętności jest analiza typowych błędów uczniów w oparciu o ich nieprawidłowe odpowiedzi. Takie podejście pozwala na uzyskanie obszerniejszej i bardziej szczegółowej informacji zwrotnej. Zamiast po prostu wskazywać błędy, badamy, dlaczego uczeń wybrał daną niepoprawną odpowiedź. Sprzyja to lepszemu zrozumieniu materiału i usprawnia proces uczenia się, pomagając uczniom uniknąć powtarzania tych samych błędów w przyszłości.

Oprócz rzetelności, ważną cechą każdego testu jest trafność. Zgodnie z klasyczną definicją, trafność to zdolność testu do mierzenia dokładnie tego, co ma mierzyć. Współczesne rozumienie trafności zakłada, że ​​wyniki trafnego testu można interpretować zgodnie z logiką, na której został opracowany. Trafność testu odgrywa kluczową rolę w zapewnieniu jego skuteczności i dokładności, ponieważ gwarantuje, że uzyskane dane rzetelnie odzwierciedlają badane zjawiska.

Czasami trafność wyników może zależeć od tego, jak osoba badana postrzega sytuację w zadaniu. Nawet jeśli jej punkt widzenia różni się od powszechnie akceptowanego, nie oznacza to automatycznie błędu. Ważne jest, aby wziąć pod uwagę różnorodność interpretacji, które mogą pojawić się w trakcie procesu testowania.

Rozważmy przykład z testu krytycznego myślenia opracowanego w Wyższej Szkole Ekonomicznej. Test ten jest symulowanym środowiskiem online, w którym uczestnik wchodzi w interakcję z botem. Jednym z głównych zadań jest pozyskanie brakujących informacji w celu stworzenia przepisu na ciasto. Takie podejście pomaga ocenić umiejętności krytycznej analizy i zadawania właściwych pytań, które są ważnymi aspektami uczenia się i podejmowania decyzji.

Osoba zdająca test musi zadać botowi konkretne pytanie, na przykład: „Ile jajek powinienem dodać?”. Czasami jednak ludzie zaczynają od powitania, na przykład: „Cześć, jak się masz?”, i jest to całkowicie normalne, zanim zapytają o przepis. Jeśli ten aspekt nie zostanie uwzględniony podczas projektowania testu, takie odpowiedzi mogą zostać błędnie ocenione jako błędne. Podkreśla to wagę prawidłowego formułowania pytań testowych i uwzględniania naturalnej komunikacji.

Jednym z powszechnych problemów związanych z testami jest problem „zgadywanki”, który prowadzi do sugestii zwiększenia liczby odpowiedzi. Wydaje się, że przy dwóch odpowiedziach prawdopodobieństwo udzielenia prawidłowej odpowiedzi wynosi 50%. Jednak stwierdzenie to jest prawdziwe tylko wtedy, gdy test składa się z jednego pytania z dwiema odpowiedziami. W rzeczywistości, gdy test zawiera kilka pytań, prawdopodobieństwo odgadnięcia prawidłowej odpowiedzi na każde z nich może się znacznie różnić w zależności od całkowitej liczby pytań i ich poziomu trudności. W ten sposób dodanie większej liczby opcji odpowiedzi może nie tylko zmniejszyć prawdopodobieństwo zgadywania, ale także zwiększyć poziom świadomości i analitycznego myślenia osoby zdającej test.

Dodanie drugiego pytania, które nie zawiera podpowiedzi do pierwszego, doprowadzi do zwielokrotnienia prawdopodobieństw. W rezultacie szansa na losowe odgadnięcie prawidłowych odpowiedzi wzrasta do 25%. W kontekście testu składającego się z dziesięciu pytań, prawdopodobieństwo udzielenia wszystkich prawidłowych odpowiedzi przez przypadek staje się praktycznie zerowe.

Takie obliczenie jest uzasadnione tylko w przypadkach, gdy testy zawierają starannie sformułowane nieprawidłowe odpowiedzi.

Jak sprawdzić, czy test działa

Na studiach magisterskich Instytutu Edukacji Psychometrycznej studenci przez dwa lata akademickie studiują metody oceny i weryfikacji rzetelności testów. Nacisk kładziony jest na teorie psychometryczne, metody statystyczne i umiejętności praktyczne niezbędne do analizy danych testowych. W ramach programu studenci opanowują różne podejścia do tworzenia i walidacji testów, co pozwala im skutecznie oceniać ich skuteczność i jakość. Program zapewnia dogłębną wiedzę z zakresu psychometrii, co pomaga wyszkolić wykwalifikowanych specjalistów zdolnych do rozwiązywania bieżących problemów w ocenie i testowaniu.

Testowanie może być przeprowadzane metodami jakościowymi lub ilościowymi. Metoda jakościowa obejmuje wywiad, podczas którego twórca testu przedstawia zadania przedstawicielowi grupy docelowej, obserwuje jego działania i zadaje pytania wyjaśniające. Takie podejście pozwala określić, jak jasne jest zadanie, jakie kroki podejmuje osoba badana, aby je rozwiązać, oraz które aspekty sprawiają trudności lub wydają się zbyt proste. Taka analiza pomaga ulepszyć test i uczynić go bardziej efektywnym w przyszłości.

Jakościowe testowanie testów ma na celu potwierdzenie, że rozwiązywane zadania rzeczywiście aktywują niezbędne procesy poznawcze. Oznacza to, że osoba badana nie musi po prostu wybierać spośród proponowanych opcji, ale aktywnie rozwiązywać zadanie matematyczne. Ważne jest, aby elementy rozpraszające nie zawierały elementów poprawnej odpowiedzi, a wszystkie instrukcje były jasne i zrozumiałe. Ułatwia to dokładniejszą ocenę wiedzy i umiejętności uczestników testu, co z kolei zwiększa wiarygodność wyników.

Ocena wyników testu za pomocą metod ilościowych jest kluczowym aspektem psychometrii. Ocenę tę przeprowadza się za pomocą analizy statystycznej, która wymaga około 100 obserwacji, aby uzyskać wiarygodne wyniki.

Nie zawsze jest możliwe przeprowadzenie pełnej oceny każdego kursu, dlatego wywiady często są wystarczające. Jednak ilościowa ocena wyników testu staje się konieczna, gdy decyzje o przyjęciu na kurs lub wydaniu certyfikatu są oparte na tych danych. Takie podejście zapewnia obiektywność i przejrzystość procesu, co jest szczególnie ważne dla instytucji edukacyjnych i uczestników kursu.

W wyniku testowania twórca otrzymuje te same dane, co w przypadku oceny jakościowej. Jednak ocena ilościowa stwarza dodatkowe możliwości analizy: pozwala na identyfikację pytań i stwierdzeń, które nie spełniają swoich celów, a także tych, które są zbędne i nie wpływają na wyniki testu. Dzięki temu testy stają się bardziej efektywne, a ich struktura i treść ulegają optymalizacji.

Zmieniony tekst:

Zapoznaj się koniecznie z naszymi pozostałymi materiałami.

• Psychometria: Czym jest i dlaczego jest potrzebna w edukacji?
• Jak rozwiązać test online w rosyjskim serwisie myQuiz
• Jak tworzyć skuteczne testy. Fragment podręcznika Edutainment.