Spis treści:
Rynek edukacji online aktywnie poszukuje uniwersalnych metod oceny jakości kursów, które będą stanowić punkt odniesienia zarówno dla firm edukacyjnych, jak i klientów szkół online. Na początku kwietnia, podczas Międzynarodowych Targów Edukacyjnych w Moskwie (MIEF), ogłoszono ważny wspólny projekt Instytutu Edukacji HSE i zespołu Skillbox. Celem projektu jest opracowanie nowego modelu oceny jakości edukacji online. W ramach projektu uczestnicy zaprezentowali wyniki fazy badawczej, która obejmowała analizę i syntezę istniejących globalnych modeli oceny jakości technologii i produktów edukacyjnych. To ważne przedsięwzięcie ma na celu poprawę standardów nauczania online i zapewnienie wyższego poziomu zaufania użytkowników.
Nie można przecenić znaczenia pracy w dziedzinie nauczania online, ponieważ obecnie nie ma jednej, powszechnie akceptowanej definicji jakości w tej dziedzinie. Pojęcie jakości obejmuje szeroki zakres aspektów, a każda firma na rynku technologii edukacyjnych ocenia swoje kursy według unikalnych kryteriów. Ta różnorodność podejść do oceny jakości stwarza złożoną sytuację dla użytkowników poszukujących rzetelnych i skutecznych zasobów edukacyjnych. Dlatego ważne jest opracowanie uniwersalnych standardów, które pomogą poprawić jakość nauczania online i uczynić je dostępnym dla wszystkich.
W obrębie jednej firmy różne działy mogą interpretować pojęcie „wysokiej jakości produktu edukacyjnego” odmiennie. Studenci mają również własne postrzeganie jakości nauczania online, co wpływa na ich oceny. Czy ważne jest stworzenie jednolitego systemu, który integruje te różne podejścia i umożliwia obiektywny pomiar jakości procesu edukacyjnego?
Maria Rakultseva, metodolog ds. produktów edukacyjnych w Zespole Strategii i Wyników Netology, podzieliła się swoim podejściem do rozwiązania palącego problemu na konferencji „Jakość EdTech: Projektowanie Doświadczeń Studentów”, zorganizowanej przez Wydział Edukacji, Otus i Netology. W swojej prezentacji prelegentka podkreśliła kluczowe kwestie dotyczące rozwoju skutecznych rozwiązań edukacyjnych mających na celu poprawę doświadczeń studentów. Skupiono się na praktycznych metodach i strategiach, które pomagają poprawić jakość nauczania online i dostosować je do potrzeb studentów.
Jak Netology badało postrzeganie jakości
Maria poinformowała, że dołączyła do zespołu Netology sześć miesięcy temu. W tamtym czasie firmie brakowało ujednoliconego procesu zapewniania jakości produktów ani systemu podejmowania decyzji produktowych opartego na danych.
Szkoła online oferuje szeroki wachlarz kursów, zróżnicowanych pod względem formatu, tematu, czasu trwania, poziomu studenta i celów. Zespoły pracujące w różnych obszarach odmiennie oceniają i interpretują jakość produktu edukacyjnego. Dlatego, jak podkreśliła Maria, ważne jest stworzenie uniwersalnych ram oceny, uwzględniających jednocześnie unikalne cechy poszczególnych kursów. Zapewni to wysokie standardy edukacyjne i zaspokoi potrzeby studentów.
Maria i jej zespół zainicjowali badania mające na celu ujednolicenie rozumienia przez firmę jakości kursów online i zapewnienie, że spełniają one oczekiwania grupy docelowej – studentów. W ramach tych prac przeprowadzono dwa badania: wewnętrzne badanie opinii pracowników oraz zewnętrzne badanie opinii studentów. Pozwoliło to na głębsze zrozumienie tego, co studenci postrzegają jako jakość w edukacji online i jakie aspekty wymagają poprawy. Wyniki badań pomogą firmie zoptymalizować kursy, zwiększyć ich atrakcyjność dla studentów i poprawić ogólną jakość usług edukacyjnych.
Badanie wewnętrzne obejmowało Przeprowadzono 22 pogłębione wywiady z menedżerami i pracownikami firmy. Ankiety objęły producentów, menedżerów produktu, metodologów, menedżerów ds. relacji z ekspertami oraz członków zespołu wsparcia i utrzymania ruchu. Badania te dostarczyły cennych informacji na temat wewnętrznej struktury i procesów firmy, które przyczyniają się do poprawy współpracy i ogólnej efektywności.
Badanie zewnętrzne składało się z dwóch etapów. W pierwszym etapie zespół Marii przeprowadził 13 pogłębionych wywiadów ze studentami. W próbie znaleźli się zarówno studenci, którzy pozytywnie ocenili naukę w Netology, jak i ci, którzy zdecydowali się na powrót, a także studenci z innych szkół online. Ta różnorodność opinii pozwala na pełne zrozumienie jakości programów edukacyjnych i poziomu zadowolenia studentów.
W drugim etapie badania Maria i jej współpracownicy przeprowadzili ankietę wśród 1019 studentów szkoły online Netology. Uczestnikami ankiety byli ci, którzy uczyli się w szkole co najmniej od miesiąca lub ukończyli naukę nie wcześniej niż sześć miesięcy temu.
Z przeprowadzonych badań wynika, że pracownicy firmy uważają, że wysokiej jakości produkt edukacyjny musi spełniać określone kryteria. Ważne jest, aby był on trafny, przystępny i praktyczny, dając możliwość zastosowania zdobytej wiedzy w praktyce. Materiały edukacyjne powinny być ustrukturyzowane i łatwe do przyswojenia, a także oferować różnorodne formaty nauczania, w tym elementy interaktywne. Ponadto produkt powinien być dostosowany do indywidualnych potrzeb studentów i zapewniać wsparcie w całym procesie uczenia się. Te aspekty odgrywają kluczową rolę w tworzeniu efektywnego doświadczenia edukacyjnego i podnoszeniu kwalifikacji zawodowych pracowników.
- prowadzi studenta do celu;
- spełnia zapotrzebowanie rynku;
- spełnia oczekiwania studentów i zapewnia dobry feedback;
- rozwiązuje problemy edukacyjne;
- zawiera kompetentne materiały;
- w kursie uczestniczą dobrzy eksperci;
- wynik podany w opisie kursu jest zgodny z rzeczywistością.
Wyniki wywiadów i ankiety przeprowadzonej wśród studentów wykazały, że kluczowymi czynnikami sukcesu kursu są: jakość materiałów, dostępność nauczycieli, interaktywne metody nauczania i możliwość otrzymania informacji zwrotnej. Studenci zauważyli, że trafność informacji i ich zgodność z nowoczesnymi wymaganiami są również ważnymi aspektami. Zwrócenie uwagi na te aspekty znacząco zwiększa efektywność nauki i zadowolenie studentów z kursu.
- trafność treści;
- dobry nauczyciel;
- szczegółowy feedback w trakcie procesu nauki;
- przystępna prezentacja materiału;
- dużo praktyki i pracy nad rzeczywistymi projektami;
- optymalne tempo i format nauki;
- dobre wsparcie.
Studentów zapytano również o stopień ekspresji różnych czynników w kursach Netology. Maria zauważyła, że uzyskane dane stały się użytecznym narzędziem do identyfikacji mocnych stron produktu, a także obszarów wymagających dalszych udoskonaleń.
Dowiedz się więcej:
Przed zaprojektowaniem kursu metodolog musi przeprowadzić kilka kluczowych badań, aby zapewnić skuteczne szkolenie. Przede wszystkim ważne jest określenie grupy docelowej. Pomoże to zrozumieć, jakiej wiedzy i umiejętności potrzebują studenci, a także jaki jest ich poziom przygotowania. Konieczne jest również zbadanie potrzeb i zainteresowań studentów, aby zapewnić, że kurs będzie jak najbardziej trafny i użyteczny.
Kolejnym krokiem jest analiza istniejących zasobów edukacyjnych i kursów. Pomoże to zidentyfikować najlepsze praktyki i uniknąć powielania materiałów. Metodyk może przeprowadzić analizę porównawczą, aby określić mocne i słabe strony konkurencyjnych kursów.
Warto również zwrócić uwagę na trendy w edukacji i technologii. Poznanie najnowszych metod i podejść nauczania pomoże wprowadzić innowacje do zaprojektowanego kursu.
Równie ważne są badania nad formatami nauczania. Metodyk musi określić, które metody i narzędzia nauczania będą najskuteczniejsze dla grupy docelowej. Mogą to być zarówno tradycyjne, jak i nowoczesne podejścia, takie jak nauczanie mieszane lub kursy online.
Przeprowadzenie ankiet lub grup fokusowych wśród potencjalnych studentów dostarczy cennych informacji na temat preferencji i oczekiwań. Uzyskane dane pomogą lepiej dostosować kurs do potrzeb uczestników.
Dlatego, aby skutecznie zaprojektować kurs, metodolog musi przeprowadzić badania grupy docelowej, przeanalizować dostępne zasoby oraz zbadać trendy edukacyjne i preferencje dotyczące formatów nauczania. Te kroki pomogą stworzyć trafny i skuteczny produkt edukacyjny.
Maria i jej współpracownicy porównali czynniki zidentyfikowane w badaniach wewnętrznych i zewnętrznych, aby uzyskać pełny obraz jakości kursu edukacyjnego. Powiązali również każdy kluczowy czynnik z mierzalnym wskaźnikiem. Według prelegenta, w przypadku niektórych czynników można zastosować oczywiste wskaźniki, takie jak Wskaźnik Satysfakcji Klienta (CSI), który pomaga ocenić zadowolenie uczestników z różnych aspektów nauki – od interakcji z instruktorami po szybkość oceny prac domowych. Jednak w przypadku innych czynników, takich jak ocena trafności treści, wybór odpowiedniego wskaźnika okazał się trudniejszy, ponieważ nie istniał żaden konkretny wskaźnik do tego celu.
W Netology przeanalizowaliśmy wszystkie wcześniej zarejestrowane wskaźniki jakości, aby ocenić ich trafność i reprezentatywność. Zespół Marii zidentyfikował te najważniejsze i najbardziej wiarygodne. Zostały one zintegrowane w uniwersalnym modelu SJM – mapie ścieżki ucznia. Mapa ta wyraźnie pokazuje, na jakim etapie interakcji ucznia z kursem mierzona jest każda metryka oraz jakie wnioski można wyciągnąć z uzyskanych informacji. Pomaga to poprawić jakość procesów edukacyjnych i zwiększyć efektywność uczenia się.
Maria i jej zespół przeanalizowali wskaźniki istotne dla rosyjskiego i międzynarodowego rynku technologii edukacyjnych. Zbadali aktualne trendy w ocenie jakości produktów edukacyjnych, co pozwala na lepsze zrozumienie metod stosowanych do analizy skuteczności technologii i programów edukacyjnych.
Wyniki tych prac doprowadziły do opracowania nowego systemu kontroli jakości opartego na hierarchicznej macierzy wskaźników. System ten zapewnia efektywne monitorowanie i analizę jakości, umożliwiając dokładniejszą ocenę wyników i identyfikację obszarów wymagających poprawy. Wykorzystanie hierarchicznej macierzy metryk ułatwia ustrukturyzowane podejście do kontroli jakości, co z kolei poprawia dokładność i wiarygodność uzyskanych danych.
Jak działa nowy system kontroli jakości w Netology
Nowy system oceny koncentruje się na jakości produktu edukacyjnego i jego związku z przychodami. Jak zauważyła Maria, jakość i elementy finansowe są nierozerwalnie ze sobą powiązane, ponieważ wysokiej jakości produkt sprzyja długoterminowej retencji studentów. To z kolei zachęca do ponownych zakupów; na przykład po ukończeniu kursu przekwalifikowania zawodowego studenci mogą być zainteresowani kursami dalszego rozwoju zawodowego lub doskonalenia umiejętności. Co więcej, jakość kursów ma znaczący wpływ na wskaźniki poleceń, które odzwierciedlają odsetek nowych studentów, którzy trafiają do szkoły z polecenia absolwentów. Wysokiej jakości programy edukacyjne nie tylko zwiększają przychody, ale także budują silną reputację instytucji edukacyjnej.
Opracowana macierz metryk ma strukturę przypominającą drzewo z poziomymi poziomami i pionowymi gałęziami. Głównym wskaźnikiem docelowym są przychody, na które wpływają wskaźniki pierwszego poziomu – polecenia i powtarzające się zakupy. Te wskaźniki z kolei zależą od wskaźników drugiego poziomu, do których należą:
- odsetek zwrotów z powodu niezadowolenia studentów z jakości produktu;
- wskaźnik NPS (Net Promoter Score) produktu – wskaźnik gotowości studentów do polecania kursów innym;
- ogólny wskaźnik CSI – wskaźnik zadowolenia studentów z kursów oferowanych przez szkołę;
- wskaźnik retencji – wskaźnik retencji użytkowników, który odzwierciedla zaangażowanie studentów i ich aktywność w interakcjach z kursami;
- osiągnięcia celów przez studentów w wyniku nauki.
Maria zauważyła, że te wskaźniki są najbardziej istotne dla bieżących celów firmy i dokładnie odzwierciedlają wyniki przeprowadzonych badań.
W miarę przechodzenia z jednego poziomu na drugi wskaźniki stają się bardziej szczegółowe. Zaczyna się od ogólnych danych dla szkoły i stopniowo zagłębia się w poszczególne obszary, zestawy kursów, konkretne kursy, klasy, moduły i jednostki treści. Odpowiedzialni pracownicy monitorują wskaźniki na każdym poziomie. Na pierwszym poziomie są to menedżerowie produktu, na drugim menedżerowie produktów edukacyjnych i kierownicy zespołów, a na trzecim i kolejnych poziomach projektanci instruktażowi, menedżerowie ekspertów i koordynatorzy. Takie podejście zapewnia wysoką jakość kształcenia i szybko reaguje na zmiany w procesie edukacyjnym. Istnieje wzajemne powiązanie między różnymi grupami metryk, które są zorganizowane w oddzielne gałęzie. Na przykład Wskaźnik Satysfakcji Klienta (CSI) jest podzielony na bardziej szczegółowe metryki związane z wydajnością ekspertów, jakością treści i poziomem wsparcia. Na kolejnych poziomach poziom szczegółowości wzrasta, umożliwiając wyprowadzenie metryk CSI dla poszczególnych modułów i jednostek treści. Taka struktura metryk pomaga w głębszej analizie i ulepszaniu każdego komponentu, co ostatecznie wpływa na ogólną jakość świadczonych usług.
Firma Netology aktywnie bada obecnie skuteczność nowego systemu. Prelegent podkreśla znaczenie zwiększenia szybkości podejmowania decyzji i wpływu tych zmian na jakość produktów edukacyjnych. W 2024 roku zespół szkół internetowych zamierza nauczyć się przewidywać zachowanie kluczowych wskaźników. Oznacza to, że zmieniając jeden wskaźnik, na przykład podnosząc go lub obniżając, chcą zrozumieć, jak wpłynie to na inne wskaźniki. Trzecia część badania analizuje również postrzeganie jakości kursów przez pracodawców. Prelegent zwrócił uwagę na znaczenie postrzegania studentów nie tylko jako konsumentów produktów edukacyjnych, ale także jako „produktów”, które szkoły wnoszą na rynek pracy. Pozwoli to na lepsze dopasowanie kursów do wymagań pracodawców i zwiększy konkurencyjność absolwentów.
Co jest nie tak z wskaźnikiem COR?
Właściciele szkół internetowych znający kluczowe wskaźniki zauważyli brak popularnego wskaźnika COR (Completion Rate – wskaźnik ukończenia studiów) w modelu zaproponowanym przez Marię Rakulcewą. Wskaźnik ten odzwierciedla odsetek studentów, którzy ukończyli studia. Podczas kolejnej dyskusji na konferencji „Designing Reskill vs. Designing Upskill” poruszono temat wykorzystania wskaźnika COR w firmie Netology. Arina Pantina, Educational Product Manager for Creative Industries w firmie Netology, podzieliła się swoimi przemyśleniami na ten temat. Omówienie wskaźników, takich jak COR, jest ważne dla optymalizacji procesów edukacyjnych i poprawy jakości nauczania online. Arina zauważyła, że w Netology COR jest wykorzystywany jako narzędzie wspomagające analizę zmian innych wskaźników. Podkreśliła, że wskaźnik ten ma kilka istotnych ograniczeń. Po pierwsze, nie ma ujednoliconej metodologii obliczania COR, co prowadzi do możliwości manipulowania wynikami. Arina wspomniała również, że zna kilka „stosunkowo uczciwych” metod sztucznego zawyżania COR do 100%. Podkreśla to wagę ostrożnego i krytycznego podejścia do interpretacji danych, aby uniknąć stronniczej analizy i podejmowania decyzji. W przypadku niektórych rodzajów kursów osiągnięcie maksymalnego COR nie zawsze jest uzasadnione. Dotyczy to w szczególności długoterminowych kursów przekwalifikowania zawodowego, na które studenci zapisują się, aby opanować nowy zawód i znaleźć zatrudnienie lub rozpocząć działalność freelancerską. Studenci często rezygnują w trakcie kursu, osiągając swoje cele jeszcze w trakcie kształcenia. W takich przypadkach niski wskaźnik ukończenia (COR) nie jest wiarygodnym wskaźnikiem jakości produktu edukacyjnego, ponieważ studenci pozostają zadowoleni – zdobywają pożądaną wiedzę i umiejętności. Nikita Podlipsky, dyrektor zarządzający Ultimate Education, wyraził ten punkt widzenia na seminarium zorganizowanym przez Instytut Edukacji HSE na temat przyszłości technologii edukacyjnych.
Arina Pantina podkreśliła wagę pomiaru zmian, jakich doświadczają studenci w trakcie studiów i po ich ukończeniu, zwłaszcza w kontekście rozwoju zawodowego. Jednak taka ocena może być trudna, ponieważ osiągnięcie znaczących rezultatów wymaga zarówno czasu, jak i wysiłku ze strony samych studentów. Podkreśla to wagę spersonalizowanego podejścia do nauki i wspierania studentów w ich aspiracjach rozwoju zawodowego.
Dowiedz się więcej o edukacji, subskrybując nasz kanał na Telegramie. Dzielimy się istotnymi informacjami, przydatnymi wskazówkami i ciekawymi materiałami. Nie przegap okazji, aby poszerzyć swoją wiedzę i być na bieżąco z nowościami edukacyjnymi.
Tekst zoptymalizowany pod kątem SEO:
Czytaj również:
- Czym jest audyt kursu online i jak może go przeprowadzić metodyk?
- Jak EdTech poszukuje sposobów oceny jakości kursów online
- Pętla doskonalenia: jak ulepszyć istniejący kurs online
- Jak ocenić skuteczność kursu online
- Jak mierzyć jakość doświadczenia edukacyjnego w EdTech. I po co to robić?