Spis treści:
Rynek edukacji online aktywnie poszukuje skutecznych metod oceny jakości kursów, które mogą stać się standardem zarówno dla firm, jak i użytkowników szkół online. Na początku kwietnia, podczas Międzynarodowych Targów Edukacyjnych w Moskwie (MIEF), ogłoszono ważny wspólny projekt Instytutu Edukacji HSE oraz zespołu ds. produktów i metodologii Skillbox. Celem projektu jest opracowanie nowego modelu oceny jakości edukacji online. Podczas wydarzenia uczestnicy zaprezentowali wyniki fazy badawczej, która obejmowała analizę i syntezę istniejących globalnych modeli oceny jakości technologii i produktów edukacyjnych. Ta innowacja może znacząco zwiększyć zaufanie do edukacji online i pomóc użytkownikom w podejmowaniu świadomych wyborów kursów.
Praca w dziedzinie edukacji online zyskuje na znaczeniu, ponieważ obecnie nie ma powszechnie akceptowanej definicji jakości w tej dziedzinie. Pojęcie jakości obejmuje szeroki zakres aspektów, a praktycznie każda firma na rynku technologii edukacyjnych stosuje własne kryteria oceny jakości swoich kursów. Ta różnorodność podejść utrudnia użytkownikom wybór najskuteczniejszych programów edukacyjnych. Aby poprawić jakość nauki online, ważne jest opracowanie jednolitych standardów i kryteriów oceny, które pomogą zarówno instytucjom edukacyjnym, jak i studentom w poruszaniu się po różnorodności oferty rynkowej.
W obrębie jednej firmy poszczególne działy mogą różnie interpretować pojęcie „jakościowego produktu edukacyjnego”. Studenci również kształtują własne postrzeganie jakości nauczania online i oceniają kursy na tej podstawie. Pytanie brzmi, czy te różne podejścia można połączyć, aby obiektywnie ocenić jakość programów edukacyjnych. Ważne jest znalezienie równowagi między standardami zawodowymi a oczekiwaniami studentów, aby stworzyć uniwersalne kryteria oceny, które odzwierciedlają rzeczywistą wartość nauczania online.
Podczas konferencji „Quality EdTech: Designing the Student Experience”, zorganizowanej przez Wydział Edukacji, Otus i Netology, Maria Rakultseva, metodolog produktów edukacyjnych w zespole Strategii i Wyników, przedstawiła podejście Netology do rozwiązywania bieżących problemów edukacyjnych. W swojej prezentacji podkreśliła kluczowe kwestie dotyczące tworzenia wysokiej jakości doświadczeń edukacyjnych dla studentów. Główne idee Marii podkreślają znaczenie dostosowywania programów edukacyjnych do potrzeb studentów i wdrażania nowoczesnych technologii w celu poprawy efektywności nauczania.
Jak Netology badało postrzeganie jakości
Maria poinformowała, że dołączyła do zespołu Netology sześć miesięcy temu. W tamtym czasie firmie brakowało ujednoliconego procesu monitorowania jakości produktów i mechanizmu podejmowania decyzji produktowych opartych na danych. Stwarzało to trudności w zarządzaniu produktem i wpływało na jego rozwój. Maria zauważyła, że wprowadzenie systematycznego podejścia do analizy danych i jakości znacząco usprawniło proces decyzyjny i zwiększyło efektywność zespołu.
Szkoła online oferuje szeroki wachlarz kursów, różniących się formatem, tematyką, czasem trwania, poziomem przygotowania i celami studentów. Zespoły pracujące w różnych obszarach odmiennie postrzegają i oceniają jakość produktu edukacyjnego. Dlatego, jak zauważyła Maria, konieczne było stworzenie ujednoliconych ram oceny, uwzględniających jednocześnie unikalne cechy każdego kursu.
Maria i jej współpracownicy rozpoczęli od przeprowadzenia badań, aby ujednolicić postrzeganie jakości w firmie i porównać je z opiniami grupy docelowej – studentów. W ramach tych prac przeprowadzono dwa badania: wewnętrzne, mające na celu ocenę obecnych standardów jakości, oraz zewnętrzne, skoncentrowane na zrozumieniu oczekiwań studentów wobec kursów online. Badania te pomogą udoskonalić proces edukacyjny i podnieść jakość świadczonych usług.
Badanie wewnętrzne objęło 22 szczegółowe Wywiady z menedżerami i pracownikami firmy, w tym z producentami, menedżerami produktu, metodykami, menedżerami ds. relacji z klientami oraz członkami zespołu wsparcia i utrzymania. Wywiady te pozwoliły na głębsze zrozumienie procesów wewnętrznych i zidentyfikowanie kluczowych aspektów wpływających na wydajność zespołu. Wyniki badań dostarczyły cennych spostrzeżeń, które pomogą w dalszym doskonaleniu strategii zaangażowania i podnoszeniu jakości świadczonych usług.
Badanie zewnętrzne składało się z dwóch etapów. W pierwszym etapie zespół Marii przeprowadził 13 pogłębionych wywiadów ze studentami. W próbie znaleźli się zarówno studenci, którzy pozytywnie ocenili naukę w Netology, jak i ci, którzy zdecydowali się na powrót, a także studenci z innych szkół internetowych. Ta zróżnicowana próba dostarczyła cennych informacji na temat jakości kształcenia i zadowolenia studentów.
W drugim etapie Maria i jej współpracownicy przeprowadzili ankietę wśród 1019 studentów szkoły internetowej Netology, którzy uczyli się przez co najmniej miesiąc lub ukończyli naukę w ciągu ostatnich sześciu miesięcy. Celem tego badania jest zrozumienie opinii i doświadczeń studentów, co pomoże poprawić jakość procesu edukacyjnego i dostosować kursy do ich potrzeb.
Zgodnie z wynikami badań, pracownicy firmy identyfikują kilka kluczowych kryteriów, które musi spełniać wysokiej jakości produkt edukacyjny. Po pierwsze, musi on oferować istotne i praktyczne informacje, które sprzyjają rozwojowi umiejętności zawodowych. Po drugie, ważna jest dostępność materiałów, zapewniająca łatwy dostęp do zasobów edukacyjnych w dowolnym momencie. Interaktywność jest również niezbędna do zaangażowania uczniów i utrzymania ich motywacji. Ponadto produkt powinien być dostosowany do różnych poziomów użytkowników, aby sprostać potrzebom zarówno początkujących, jak i bardziej doświadczonych profesjonalistów. Wreszcie, kluczowe jest zapewnienie uczestnikom informacji zwrotnej oraz możliwości dzielenia się swoimi doświadczeniami i zadawania pytań. Kryteria te stanowią podstawę tworzenia skutecznego produktu edukacyjnego, który będzie pożądany i przydatny dla pracowników.
- prowadzi studenta do celu;
- spełnia zapotrzebowanie rynku;
- spełnia oczekiwania studentów i ma dobry feedback;
- rozwiązuje problemy edukacyjne;
- zawiera kompetentne materiały;
- w kursie uczestniczą dobrzy eksperci;
- wynik podany w opisie kursu odpowiada rzeczywistości.
Wyniki wywiadów i ankiety przeprowadzonej wśród studentów wykazały, że kluczowymi czynnikami jakości kursu są:
- trafność treści;
- dobry nauczyciel;
- szczegółowy feedback w trakcie procesu uczenia się;
- przystępna prezentacja materiału;
- dużo praktyki i pracy nad rzeczywistymi projektami;
- optymalne tempo i format szkolenia;
- dobre wsparcie.
Studentów poproszono również o W jakim stopniu, ich zdaniem, pewne czynniki zostały uwzględnione na kursach Netology. Maria zauważyła, że te informacje były bardzo przydatne do identyfikacji mocnych stron produktu, a także tych aspektów, które wymagają dodatkowej uwagi i udoskonalenia. Pozwala to zespołowi Netologia lepiej dostosować kursy do potrzeb studentów i poprawić jakość szkoleń.
Przeczytaj także:
Zanim rozpoczniesz projektowanie kursu, ważne jest, aby metodolog przeprowadził serię badań, które pomogą określić potrzeby grupy docelowej i tworzą strukturę kursu. Kluczowe aspekty obejmują analizę grupy docelowej, analizę istniejących programów edukacyjnych i ocenę aktualnych trendów w wybranej dziedzinie.
Pierwszym krokiem jest określenie grupy docelowej. Konieczne jest ustalenie, kto będzie studiował, jaką wiedzę i umiejętności posiada oraz jakie cele sobie stawia. Można to zrobić za pomocą ankiet, kwestionariuszy i wywiadów z potencjalnymi studentami. Uzyskane dane pomogą dostosować treść kursu do konkretnych potrzeb.
Następnie następuje analiza istniejących programów edukacyjnych. Analiza podobnych kursów pomoże zidentyfikować mocne i słabe strony konkurencji, a także zidentyfikować unikalne oferty, które mogą przyciągnąć uwagę studentów. Ten etap obejmuje analizę programów nauczania, materiałów i metod nauczania stosowanych w innych kursach.
Ważne jest również uwzględnienie aktualnych trendów w dziedzinie edukacji i w konkretnej dziedzinie wiedzy. Konieczne jest zbadanie najnowszych osiągnięć, metod i technologii, które można zintegrować z kursem. Pomoże to uczynić kurs bardziej adekwatnym i trafnym.
Przeprowadzenie tych badań dostarczy metodologowi niezbędnych informacji do skutecznego projektowania kursów, czyniąc je bardziej ukierunkowanymi i efektywnymi dla uczestników.
Maria i jej współpracownicy porównali czynniki zidentyfikowane podczas badań wewnętrznych i zewnętrznych, aby stworzyć holistyczny obraz kursu wysokiej jakości. Powiązali każdy kluczowy czynnik z mierzalnym wskaźnikiem. Jak zauważył prelegent, w przypadku niektórych aspektów istnieją oczywiste wskaźniki, takie jak Wskaźnik Satysfakcji Klienta (CSI), który ocenia zadowolenie studentów z różnych aspektów procesu edukacyjnego, w tym interakcji z instruktorami i szybkości oceny prac domowych. Wybór odpowiedniego wskaźnika do oceny adekwatności treści okazał się jednak trudniejszy, ponieważ nie opracowano specjalistycznych wskaźników do tego celu.
Firma Netology ponownie oceniła wszystkie wcześniej zarejestrowane wskaźniki jakości. Celem tego procesu było określenie ich trafności i reprezentatywności, a także zidentyfikowanie tych, na których można naprawdę polegać. Zespół Marii zebrał wybrane wskaźniki i umieścił je na uniwersalnej mapie ścieżki ucznia (SJM) – mapie podróży ucznia. Mapa ta wyraźnie pokazuje, na jakim etapie interakcji ucznia z kursem mierzona jest każda z metryk oraz jakie wnioski można wyciągnąć na podstawie zebranych informacji.
Maria i jej współpracownicy przeanalizowali wskaźniki stosowane na rosyjskim i międzynarodowym rynku technologii edukacyjnych. Badanie zidentyfikowało aktualne trendy w ocenie jakości produktów edukacyjnych, umożliwiając lepsze zrozumienie czynników wpływających na sukces i skuteczność rozwiązań technologii edukacyjnych.
Wyniki tych prac przyczyniły się do opracowania nowego systemu kontroli jakości opartego na hierarchicznej macierzy wskaźników. System ten pozwala na skuteczniejsze monitorowanie i ocenę jakości produktów, zapewniając wysokie standardy i zgodność z przepisami. Wykorzystanie hierarchicznej macierzy metryk usprawnia analizę danych i ułatwia podejmowanie świadomych decyzji w zakresie zarządzania jakością.
Jak działa nowy system kontroli jakości w Netology
Nowy system oceny koncentruje się na jakości produktu edukacyjnego w połączeniu z przychodami. Jak zauważyła Maria, wskaźniki jakości i finansowe są ze sobą ściśle powiązane, ponieważ wysokiej jakości produkty przyciągają studentów na długo i zachęcają ich do ponownych zakupów. Na przykład, po ukończeniu kursu przekwalifikowania zawodowego, studenci mogą zakupić dodatkowe kursy, aby rozwijać się w swoim zawodzie lub aktualizować swoje umiejętności. Co więcej, jakość kursów znacząco wpływa na wskaźniki poleceń, czyli odsetek nowych studentów przychodzących do placówki edukacyjnej na podstawie rekomendacji absolwentów. Należy pamiętać, że wysoka ocena jakości produktu edukacyjnego może być kluczowym czynnikiem przyciągania nowych klientów i zwiększania przychodów.
Opracowana macierz metryk ma strukturę przypominającą drzewo z poziomymi poziomami i pionowymi gałęziami. Głównym wskaźnikiem docelowym są przychody. Na jego kształtowanie wpływają wskaźniki pierwszego poziomu, takie jak polecenia i powtarzające się zakupy. Te wskaźniki z kolei zależą od wskaźników drugiego poziomu, do których należą:
- odsetek zwrotów z powodu niezadowolenia studentów z jakości produktu;
- wskaźnik NPS (Net Promoter Score) produktu – wskaźnik gotowości studentów do polecania kursów innym;
- ogólny wskaźnik CSI – wskaźnik zadowolenia studentów z kursów oferowanych przez szkołę;
- wskaźnik retencji – wskaźnik retencji użytkowników, który odzwierciedla zaangażowanie studentów, ich aktywność w interakcjach z kursami;
- osiągnięcia celów przez studentów w wyniku szkoleń.
Maria zauważyła, że te wskaźniki są najbardziej istotne dla bieżących celów firmy i dokładnie odzwierciedlają wyniki badań.
Analizując dane dotyczące instytucji edukacyjnych, wskaźniki są szczegółowo opisywane na różnych poziomach. Zaczyna się od ogólnej analizy szkoły, a następnie koncentruje się na poszczególnych obszarach, zestawach kursów, konkretnych kursach, lekcjach, modułach i jednostkach merytorycznych. Odpowiedzialni członkowie personelu nadzorują monitorowanie wskaźników na każdym poziomie. Na pierwszym poziomie są to menedżerowie produktu; na drugim poziomie menedżerowie produktów edukacyjnych i kierownicy zespołów; a na trzecim i wyższych poziomach projektanci dydaktyczni, menedżerowie ds. relacji z ekspertami i koordynatorzy. Takie podejście umożliwia efektywne zarządzanie procesem edukacyjnym i poprawę jakości uczenia się. Istnieje powiązana struktura wskaźników zorganizowana na różnych poziomach. Na przykład Wskaźnik Satysfakcji Klienta (CSI) jest podzielony na bardziej szczegółowe wskaźniki, takie jak efektywność ekspertów, jakość treści i poziom wsparcia. Na kolejnych poziomach wskaźniki te stają się bardziej szczegółowe, umożliwiając analizę CSI dla poszczególnych modułów i określonych jednostek merytorycznych. Pozwala to na głębsze zrozumienie, w jaki sposób różne aspekty wpływają na ogólną satysfakcję klienta i optymalizację procesów w celu poprawy wyników.
Netology zidentyfikowała kluczowe Zasady interakcji z tym systemem i podejścia do podejmowania decyzji produktowych. Zasady te pomagają optymalizować procesy pracy, poprawiać jakość produktów i zwiększać zadowolenie użytkowników. Główny nacisk kładziony jest na analizę danych, opinie klientów i ciągłe doskonalenie procesów, co pozwala firmie utrzymać konkurencyjność na rynku.
- Prace nad poprawą jakości można prowadzić zarówno odgórnie, jak i oddolnie. Na przykład, jeśli wskaźnik na wyższych poziomach niespodziewanie spadł lub wzrósł, można przeanalizować odpowiednią „gałęzię” i ustalić przyczynę. Można również śledzić, jak zmiany na niższych poziomach systemu wpływają na wskaźniki na wyższych poziomach.
- Każdy pracownik odpowiedzialny za jakość produktu na danym poziomie podejmuje decyzje w oparciu o odpowiednie wskaźniki, powiązania metryk i ich dynamikę oraz działa w ramach swojego obszaru odpowiedzialności.
- Podejmując decyzje, bierze się pod uwagę odpowiedni poziom i „gałęzię” – to znaczy, aby rozwiązać problem, trzeba określić jego miejsce w ogólnej strukturze i rozważyć, co wpływa na wskaźniki na danym poziomie.
Netology testuje obecnie skuteczność nowego systemu, którego celem jest przyspieszenie podejmowania decyzji i poprawa jakości produktów edukacyjnych. Do 2024 roku zespół szkoły online planuje nauczyć się przewidywać zachowanie kluczowych wskaźników. Na przykład, jeśli jeden wskaźnik wykazuje spadek lub wzrost, ważne jest zrozumienie, jak wpłynie to na inne wskaźniki. Badanie analizuje również postrzeganie jakości kursów z perspektywy pracodawców. Jak zauważyła Maria, celem jest spojrzenie na studentów nie tylko jako na konsumentów usług edukacyjnych, ale także jako na „produkt”, który szkoła wprowadza na rynek pracy. Takie podejście pozwoli na lepsze zrozumienie wymagań rynku i dostosowanie programów edukacyjnych do skutecznego kształcenia specjalistów.
Co jest nie tak z wskaźnikiem COR?
W systemie wskaźników stosowanym przez szkoły online brakuje popularnego wskaźnika COR (Completion Rate) – odsetka studentów, którzy ukończyli studia. Maria Rakultseva poczyniła tę obserwację w swoim modelu. Podczas innej dyskusji na konferencji „Designing Reskill vs. Designing Upskill” dyskutowano, dlaczego „Netology” nie używa tego wskaźnika jako podstawowego. Arina Pantina, menedżer ds. produktów edukacyjnych w sektorze kreatywnym w firmie Netology, podzieliła się swoimi przemyśleniami na ten temat. Omówienie znaczenia wskaźników w edukacji podkreśla potrzebę doboru odpowiednich wskaźników do oceny efektywności uczenia się i zaangażowania studentów. Arina zauważyła, że w Netology wskaźnik COR jest wykorzystywany wyłącznie jako narzędzie pomocnicze do analizy zmian w innych wskaźnikach. Zwróciła uwagę na kilka istotnych ograniczeń tego wskaźnika. Po pierwsze, nie ma uniwersalnej metodologii obliczania COR, która pozwala na zastosowanie różnych podejść. Stwarza to potencjalne możliwości manipulacji danymi. Arina dodała również, że zna kilka „stosunkowo sprawiedliwych” metod, które mogą zwiększyć COR do 100%. Niektóre rodzaje kursów nie wymagają maksymalnego COR, i to z własnych powodów. Na przykład długoterminowe kursy przekwalifikowania zawodowego przyciągają studentów, którzy chcą opanować nowy zawód i znaleźć zatrudnienie lub pracę na własny rachunek. Studenci ci często rezygnują w trakcie studiów, osiągając swój cel przed ich ukończeniem. W tym przypadku niski wskaźnik ukończenia kursu (COR) nie jest wskaźnikiem jakości produktu edukacyjnego, ponieważ student jest zadowolony z rezultatu – otrzymuje to, czego szukał. Ten argument wyraził również Nikita Podlipsky, dyrektor zarządzający Ultimate Education, podczas seminarium na temat perspektyw technologii edukacyjnych, zorganizowanego w lutym przez Instytut Edukacji HSE. Instytucje edukacyjne powinny wziąć ten aspekt pod uwagę, aby dokładniej oceniać skuteczność swoich kursów i zadowolenie studentów.
Arina Pantina zwróciła uwagę na znaczenie pomiaru zmian zachodzących u studentów w trakcie studiów i po ich ukończeniu, na przykład w kontekście rozwoju zawodowego. Jednak taka ocena często jest trudna, ponieważ wprowadzenie zmian wymaga zarówno czasu, jak i aktywnego wysiłku ze strony studentów. Podkreśla to wagę spersonalizowanego podejścia do nauki i potrzebę wspierania studentów w ich aspiracjach rozwoju zawodowego.
Dowiedz się więcej o edukacji, subskrybując nasz kanał na Telegramie. Regularnie dzielimy się istotnymi wiadomościami, przydatnymi wskazówkami i ciekawymi materiałami. Dołącz do nas, aby być na bieżąco z najnowszymi trendami i osiągnięciami w edukacji.
Dowiedz się więcej o naszym temacie. Oferujemy aktualne informacje i pomocne wskazówki, które pomogą Ci lepiej zrozumieć temat. Nasze artykuły oparte są na zweryfikowanych danych i materiałach badawczych, dzięki czemu stanowią wiarygodne źródło dla każdego. Staramy się zapewnić czytelnikom najbardziej istotne i przydatne zasoby, abyś mógł łatwo poruszać się po omawianych tematach. Nie przegap okazji, aby poszerzyć swoją wiedzę i poprawić umiejętności. Kontynuuj zapoznawanie się z naszymi treściami i bądź na bieżąco z najnowszymi trendami.
- Czym jest audyt kursu online i jak może go przeprowadzić metodyk?
- Jak EdTech poszukuje podejść do oceny jakości kursów online?
- Pętla doskonalenia: jak ulepszyć już uruchomiony kurs online?
- Jak ocenić skuteczność kursu online?
- Jak mierzyć jakość doświadczenia edukacyjnego w EdTech? I dlaczego to robić?