Spis treści:
Dowiedz się: Twórca kursów online od podstaw do poziomu PRO
Dowiedz się więcejJakie modele ewaluacji rozważali badacze?
Pierwsze metody ewaluacji cyfrowych produktów edukacyjnych zaczęły się rozwijać w latach 90. XX wieku, w szczególności model Douglasa Merrilla, zaprezentowany w 1995 roku. Podejścia te są jednak przestarzałe, ponieważ technologia i jej rola w uczeniu się uległy znaczącym zmianom. Obecnie technologia nie tylko przekazuje informacje studentom, ale także aktywnie wpływa na proces uczenia się, interakcję i zaangażowanie studentów. Nowoczesne modele ewaluacji uwzględniają różne kryteria, takie jak skuteczność przyswajania materiału, adaptowalność treści, interakcja z użytkownikiem oraz możliwość uzyskania informacji zwrotnej i wsparcia ze strony instruktorów. Te aspekty pomagają zapewnić wyższą jakość nauczania i lepsze postrzeganie treści edukacyjnych.
- łatwość dostępu, użytkowania i aktualizacji;
- projektowanie (UX i UI);
- możliwość zapewnienia studentom informacji zwrotnej;
- rozwój zawodowy nauczyciela;
- satysfakcja studentów i nauczycieli;
- zapewnienie studentom motywacji i możliwości samokształcenia;
- czas włączenia w proces edukacyjny.
Badacze przeanalizowali i podsumowali 22 standardy i modele oceny jakości technologii i produktów edukacyjnych dostępnych na rynku globalnym. Standardy te zostały opracowane zarówno na uniwersytetach, jak i w stowarzyszeniach organizacji edukacyjnych. Mogą one funkcjonować na poziomie poszczególnych uniwersytetów, stowarzyszeń kilku instytucji, a także na poziomie krajowym i międzynarodowym. Wśród tych standardów i modeli można wyróżnić kilka przykładów, które szczegółowo opisano w raporcie badawczym.
- System standardów iNACOL, opracowany w 2011 roku w Stanach Zjednoczonych w celu oceny jakości kursów online i nauczania w środowisku online.
- Zestaw standardów Quality Matters został również opracowany w Stanach Zjednoczonych przez grupę uniwersytetów i cieszy się dużą popularnością w wielu stanach. Może być stosowany na różnych poziomach edukacji i koncentruje się przede wszystkim na zapewnieniu jakości rozwoju produktów online.
- Model TELAS, opracowany przez Australasian Society for the Use of Computers in Higher Education we współpracy z profesorami uniwersyteckimi, służy do oceny i akredytacji kształcenia online w sektorze szkolnictwa wyższego.
- System metryk jakości Online Learning Consortium (OLC) do administrowania programami online został również opracowany w Stanach Zjednoczonych. Jest on przeznaczony do wykorzystania zarówno w działalności edukacyjnej, jak i w zarządzaniu produktami.
- USDLA – standardy opracowane przez American Distance Education Association.
- Międzynarodowy system certyfikacji kursów online EOCCS. Został opracowany przez EFMD – międzynarodowe stowarzyszenie non-profit zajmujące się rozwojem zarządzania, które jest uznaną na całym świecie jednostką akredytującą szkoły biznesu, ich programy oraz uniwersytety korporacyjne.
- System oceny programu Blackboard Exemplary Course Program firmy Anthology – stowarzyszenia czterech globalnych firm z branży technologii edukacyjnych: Blackboard, Campus Management, Campus Labs i iModules.
- Model 5 filarów jakości Sloan-C. Został opracowany przez Sloan-C – konsorcjum uniwersytetów oferujących programy online i specjalizujących się w badaniu i podnoszeniu jakości edukacji.
- Model oceny jakości kursów otwartych OSCQR. Opracowany przez SUNY Online, Uniwersytet Stanowy Nowego Jorku, we współpracy z Online Learning Consortium, stał się standardowym narzędziem oceny jakości kursów.
- System oceny efektywności nauczania kursów online opracowany na uniwersytecie publicznym w Hongkongu.
- Narzędzie „A Quality Review for Online Courses” opracowane w Kanadzie.
Autorzy badania podkreślają, że ocena jakości kursu może się różnić w zależności od użytego narzędzia. Może koncentrować się na różnych aspektach, takich jak projekt kursu, cele edukacyjne, treść materiałów edukacyjnych, zastosowane technologie i inne ważne czynniki. Taka różnorodność podejść pozwala na dokładniejszą i bardziej kompleksową ocenę skuteczności procesu edukacyjnego.
Niektóre modele i standardy oceniają jakość na etapie rozwoju produktu, podczas gdy inne wdrażają ocenę przez cały cykl życia. Na przykład model zaproponowany przez Monę Ternus i Debbie Faulk, a także model opracowany przez Weiyuan Zhang i Yu Ling Chen, służą temu celowi. Podejścia te pomagają zapewnić wysoką jakość na wszystkich etapach, od koncepcji do eksploatacji produktu, co przyczynia się do jego trwałości i satysfakcji użytkownika.
Jakie ogólne wnioski wyciągnęli badacze?
Autorzy badania zidentyfikowali zarówno podobieństwa, jak i różnice między różnymi modelami i systemami oceny. Podobieństwa dotyczą kluczowych elementów, takich jak podejścia do oceny i stosowanie standardów. Różnice w metodach wdrażania i konkretnych kryteriach oceny mogą jednak wpływać na końcowe wyniki. Aspekty te są istotne przy wyborze odpowiedniego modelu do konkretnych celów ewaluacji.
- Przeanalizowane metody oferują różne ramy oceny i różne poziomy wskaźników. Najczęściej spotykane są kryteria zarządzania, następnie praktyki nauczania, wsparcie nauczycieli i uczniów na trzecim miejscu, a na czwartym miejscu wykorzystanie technologii i oceny. Najczęstszym rezultatem nauki online jest zadowolenie uczniów i nauczycieli, a nie obiektywne rezultaty nauczania.
- Różne modele mogą mieć znacząco różne cele w zakresie opracowywania, adaptowania i wykorzystywania ram oceny jakości kursów online.
- Narzędzia oceny stosowane w ramach jednej uczelni umożliwiają usystematyzowanie najlepszych praktyk w zakresie opracowywania i wdrażania kursów oraz uwzględnienie ich w zaleceniach metodycznych dla instruktorów. Jednak narzędzia opracowane z uwzględnieniem potrzeb konkretnej uczelni często nie mogą być stosowane w innych kontekstach edukacyjnych.
- Najpopularniejszym narzędziem oceny na poziomie krajowym jest zestaw standardów Quality Matters.
Dlaczego przeprowadzono to badanie
Autorzy badania podkreślają, że szybki rozwój technologii informatycznych i ich zwiększona dostępność przyczyniły się do powstania wielu projektów EdTech tworzonych bez udziału państwa lub tradycyjnych instytucji edukacyjnych. Spowodowało to jednak szereg problemów związanych z jakością produktów edukacyjnych, zwłaszcza kursów online. Ważne jest, aby zająć się tymi kwestiami, aby zapewnić skuteczność i niezawodność nowych formatów edukacyjnych.
- Nie ma jednego podejścia do tego, co stanowi jakość. Może być ona oceniana inaczej w różnych kontekstach edukacyjnych – a w praktyce jakość jest oceniana inaczej przez różne firmy.
- Prywatne projekty edukacyjne rzadko prowadzą badania w celu wyboru optymalnego rozwiązania pod względem jakości.
- Jeśli już prowadzą badania, zazwyczaj koncentrują się na danych dotyczących zaangażowania użytkowników i informacji zwrotnych. Połowa firm wykorzystuje wyłącznie wewnętrzne źródła danych do analiz, co nie jest zbyt obiektywne. Niewiele z nich bada skuteczność produktów w kontekście pomiaru efektów edukacyjnych.
Podczas dyskusji w Moskiewskiej Międzynarodowej Szkole Ekonomicznej (MISO), Kirył Sawicki, czołowy ekspert w Laboratorium Cyfrowej Transformacji Edukacji w Instytucie Edukacji w Wyższej Szkole Ekonomicznej Narodowego Uniwersytetu Badawczego, podkreślił, że 51% firm jest przekonanych o dostępności danych potwierdzających skuteczność ich produktów edukacyjnych. Jednak rzeczywiste dane pokazują, że tylko 7% z nich jest w stanie przedstawić obiektywne dowody na poparcie deklarowanych wyników. Podkreśla to znaczenie solidnej analityki w edukacji i potrzebę większej przejrzystości danych w celu poprawy jakości decyzji edukacyjnych.
W obliczu braku jednolitych standardów jakości trudno jest zapewnić prawidłowe wykorzystanie technologii, efektów edukacyjnych i innych cech produktu, zauważają autorzy badania. Istnienie powszechnie akceptowanych ram i mechanizmów oceny cyfrowych produktów edukacyjnych przyczyniłoby się do zwiększenia ich skuteczności i niezawodności, a także do usprawnienia całego procesu edukacyjnego. Jednolite kryteria oceny uprościłyby dobór odpowiednich technologii dla instytucji edukacyjnych i zwiększyłyby zaufanie użytkowników do rozwiązań cyfrowych. Standaryzacja w tym obszarze mogłaby stanowić podstawę rozwoju innowacyjnych podejść i poprawy jakości edukacji.
- Pomogłoby to zagwarantować wiarygodność wyników badań nad produktami;
- Użytkownicy łatwiej by wybierali wysokiej jakości produkty edukacyjne;
- Firmy samodzielnie opracowujące produkty edukacyjne nie ponosiłyby ryzyka utraty reputacji.
Uczestnicy rynku EdTech w Rosji wielokrotnie dążyli do zjednoczenia się w celu opracowania jednolitych standardów jakości. Ważnym krokiem w tym kierunku było utworzenie Rosyjskiego Stowarzyszenia Cyfrowych Innowacji w Edukacji (RACI). Eksperci z Instytutu Edukacji HSE i Skillbox przeprowadzili analizę najlepszych światowych praktyk w zakresie oceny jakości cyfrowych produktów edukacyjnych, która może posłużyć jako teoretyczna podstawa do opracowania tych standardów. Połączenie wysiłków w sektorze technologii edukacyjnych i wdrożenie nowych standardów przyczyni się do poprawy jakości rozwiązań edukacyjnych i procesu edukacyjnego w kraju.
Autorzy badania podkreślają, że opracowując model oceny, należy wziąć pod uwagę nie tylko jakość narzędzia edukacyjnego i jego kontekst, ale także doświadczenie edukacyjne, jakie otrzymują uczniowie. Co więcej, ważne jest stworzenie odpowiedniego systemu kryteriów oceny jakości produktu na wszystkich etapach jego cyklu życia, a nie ograniczanie się do etapu rozwoju. Pozwoli to na pełniejszą ocenę skuteczności rozwiązań edukacyjnych i ich wpływu na naukę.
Przeczytaj dodatkowe materiały:
Pomiar jakości doświadczenia edukacyjnego w EdTech jest ważnym zadaniem w celu poprawy Skuteczność procesów edukacyjnych. Pozwala nam to nie tylko oceniać skuteczność programów edukacyjnych, ale także identyfikować obszary wymagające poprawy. Wysokiej jakości doświadczenie edukacyjne obejmuje różne aspekty, takie jak przyjazność interfejsu dla użytkownika, dostępność materiałów, interaktywność i zaangażowanie uczniów.
Jakość doświadczenia edukacyjnego można mierzyć kilkoma metodami. Ankiety i kwestionariusze pomagają zbierać opinie użytkowników, a analiza danych pozwala śledzić zachowania i postępy uczniów. Ważne jest również porównanie z innymi platformami edukacyjnymi, aby zrozumieć, gdzie można wprowadzić ulepszenia.
Dlaczego warto mierzyć jakość doświadczenia edukacyjnego? Po pierwsze, pomaga to zwiększyć satysfakcję i zaangażowanie użytkowników. Po drugie, uzyskane dane pomagają w opracowaniu skuteczniejszych strategii edukacyjnych i dostosowaniu treści do potrzeb uczniów. Po trzecie, wysoki poziom jakości edukacyjnej pomaga wzmocnić reputację platformy i przyciągnąć nowych użytkowników.
Dlatego regularne pomiary i analiza jakości doświadczeń edukacyjnych w EdTech są niezbędne do stworzenia konkurencyjnego produktu i zapewnienia skutecznej nauki.
Jak badanie zostało skomentowane na Moskiewskiej Międzynarodowej Konferencji Standardów Edukacyjnych
Podczas Moskiewskiej Międzynarodowej Konferencji Standardów Edukacyjnych eksperci omówili ważne powody, dla których konieczne jest opracowanie jednolitych standardów oceny cyfrowych produktów edukacyjnych. Omówiono również wyzwania, przed którymi stoi rynek w zakresie wdrażania tych kryteriów. Dyskusja objęła kluczowe aspekty wpływające na rozwój kryteriów oceny oraz zidentyfikowała bariery utrudniające efektywny rozwój tej dziedziny. Ludmiła Kevdina, Dyrektor ds. Jakości w RATIO i Dyrektor ds. Komunikacji Zewnętrznej w Maximum Education, podkreśla, że rynek EdTech przeżywa obecnie aktywny wzrost, ze stałym wzrostem liczby szkół online. Te placówki edukacyjne różnią się wielkością i rodzajami oferowanych produktów, co utrudnia użytkownikom wybór odpowiedniej opcji. Niezrozumienie kryteriów wyboru może prowadzić do rozczarowania wynikami, co z kolei stwarza ryzyko konfliktu w przestrzeni informacyjnej. W ubiegłym roku byliśmy świadkami znaczących wydarzeń, które przyciągnęły uwagę opinii publicznej. Kiedy takie historie wychodzą na jaw, organy regulacyjne zaczynają je uważnie analizować. W obecnej sytuacji ważne jest opracowanie modelu kryteriów, który pozwoli klientom jasno zrozumieć, jak oceniać i wybierać produkty edukacyjne. Przejrzystość w tym procesie jest niezbędna dla wszystkich uczestników procesu edukacyjnego i całego systemu.
Ludmiła podkreśliła, że nie tylko RATIO, ale także inni uczestnicy rynku, dążą obecnie do opracowania metod oceny jakości produktów edukacyjnych. Uważa to za pozytywny trend. Dostępność różnych podejść pozwoli na ich porównanie i ostatecznie stworzenie jednego, uniwersalnego modelu oceny, mającego zastosowanie do produktów edukacyjnych jako całości.
Kirill Savitsky zauważył, że głównym problemem firm EdTech jest stosowanie nadmiernej liczby różnych wskaźników do oceny jakości produktów edukacyjnych. Prowadzi to do zamieszania i komplikuje obiektywną ocenę skuteczności rozwiązań edukacyjnych. Zamiast koncentrować się na kilku kluczowych wskaźnikach, firmy często przetwarzają informacje, co komplikuje proces decyzyjny i zmniejsza przejrzystość. Skuteczna ocena produktów edukacyjnych wymaga uproszczonych wskaźników i jasnego zrozumienia ich wpływu na efekty uczenia się.
W przypadku dużych ilości danych, specjaliści nauk humanistycznych, którzy studiowali analitykę, starają się je zrozumieć i ocenić. W rezultacie opracowują wiele wskaźników – od 90 do 100 – z których każdy chcieliby uwzględnić w modelu oceny. Pojawia się jednak ważne pytanie dla specjalistów z wykształceniem technicznym: jeśli na przykład pierwszy wskaźnik ma wagę 40 procent, drugi 30 procent, a trzeci 20 procent, ile pozostaje pozostałym 87 wskaźnikom? I czy naprawdę należy je brać pod uwagę? Efektywne wykorzystanie danych wymaga nie tylko gromadzenia i analizy, ale także zrozumienia znaczenia każdego wskaźnika w całym modelu. Podkreśla to wagę wysokiej jakości analityki i prawidłowego podejścia do interpretacji danych.
Marina Kharakhordina, kierownik Katedry Metodologii w Skillbox, zauważyła, że firmy EdTech aktywnie poszukują kryteriów oceny jakości kursów edukacyjnych. Na przykład kilka lat temu Wyższa Szkoła Ekonomiczna stworzyła narzędzie do oceny stopnia, w jakim absolwenci osiągnęli swoje cele. Wielu głównych graczy rynkowych przyjęło to narzędzie i dyskutowało, czy jest to jedyny sposób oceny jakości. W rezultacie okazało się, że istnieje wiele podejść do oceny programów edukacyjnych, co podkreśla znaczenie zintegrowanego podejścia w tym obszarze.
Mamy teraz możliwość zbadania, jak absolwenci osiągają swoje cele. Ważne jest jednak również zrozumienie, czy ich zachowanie zmienia się po ukończeniu programów edukacyjnych. Czy możemy zarejestrować zmiany lub ich brak? Ten aspekt wymaga naszej uwagi i wykorzystania specjalistycznych narzędzi analitycznych.
Firmy zdają sobie sprawę ze znaczenia monitorowania satysfakcji studentów z otrzymywanej edukacji. Ocena procesu uczenia się również odgrywa kluczową rolę, ponieważ pomaga go zoptymalizować w celu uzyskania lepszych rezultatów. Biorąc pod uwagę różnorodność istotnych czynników, potrzebne są kompleksowe ramy, aby skutecznie dostosować programy edukacyjne i poprawić ich jakość.
Daria Ryzhkova, założycielka Smart Ranking, agencji opracowującej rankingi firm EdTech na podstawie przychodów, podzieliła się interesującymi wynikami swoich badań. Agencja przeprowadziła ankietę wśród uczestników rynku EdTech, aby określić ich rozumienie jakości edukacji, jakich wskaźników używają do jej oceny oraz jak mierzą skuteczność procesów edukacyjnych.
Według Darii, głównym założeniem było zebranie wskaźników w celu utworzenia zintegrowanego wskaźnika jakości. Jednak zadanie to okazało się trudne. Przedstawiciele rynku wyrazili opinię, że jakość kształcenia powinna być oceniana m.in. na podstawie zadowolenia absolwentów. Ponieważ agencja nie przeprowadziła badań ankietowych wśród absolwentów kierunków studiów, nie było możliwe zweryfikowanie tego ważnego kryterium.
Teraz inteligentny ranking We współpracy z komunikatorem „Pachka” przeprowadzamy nowe badanie, w którym eksperci branżowi po raz kolejny dzielą się swoimi opiniami na temat ważnych wskaźników oceny jakości. Według Darii, wyniki ankiety pokazały, że system metryk stał się znacznie bardziej złożony od czasu pierwszego badania. Podczas gdy wcześniej koncentrowano się na standardowych wskaźnikach, teraz każdy uczestnik ma swoje własne, unikalne podejście i metodologię. Podkreśla to znaczenie indywidualizacji w ocenie jakości, która może znacząco wpłynąć na rozwój i wyniki firmy.
Wszyscy uczestnicy są szczerze zainteresowani ujednoliconą metodologią, która umożliwi im porównywanie swoich wyników z wynikami innych. Jesteśmy przekonani, że opracowanie uniwersalnego podejścia stanie się ważnym punktem odniesienia zarówno dla całego rynku edukacji online, jak i dla klientów szkół online. Pomoże to poprawić jakość edukacji i zwiększyć zaufanie do platform edukacyjnych.
Nikita Podlipsky, dyrektor zarządzający Ultimate Education, porusza istotną kwestię potrzeby ujednoliconej metodologii pomiaru jakości edukacji. Zgadza się, że konkretne kryteria oceny są niezbędne, ale zwraca uwagę na trudności, jakie pojawiają się w tworzeniu uniwersalnego modelu. Na przykład, wskaźniki ukończenia studiów przez studentów w szkołach internetowych mogą być bardzo zróżnicowane: w jednej szkole może sięgać 90%, a w innej zaledwie 25%. Nie oznacza to jednak, że w drugiej szkole jakość kształcenia jest niska, ponieważ dla niektórych studentów ukończenie kursu i uzyskanie dyplomu może nie być aż tak istotne. W niektórych zawodach dyplom nie jest warunkiem koniecznym do zatrudnienia. Dlatego też, zdaniem Podlipsky'ego, próby stworzenia jednolitego systemu oceny jakości kształcenia mogą prowadzić do błędnych wniosków i nie uwzględniać indywidualnych cech różnych placówek edukacyjnych.
Sprawdź dodatkowe Materiały:
W 2024 roku rynek EdTech będzie nadal ewoluował, napędzany nowymi technologiami i zmieniającymi się potrzebami instytucji edukacyjnych i uczniów. Przewiduje się, że kluczowymi trendami będą sztuczna inteligencja, która będzie coraz częściej wykorzystywana do personalizacji nauczania, oraz adaptacyjne platformy edukacyjne, które pomogą dostosować się do indywidualnych potrzeb uczniów. Wirtualna i rozszerzona rzeczywistość będą również odgrywać coraz ważniejszą rolę w procesach edukacyjnych, zapewniając nowe możliwości interaktywnego uczenia się.
Ponadto będziemy świadkami rosnącej popularności kursów online i mikrokursów, które oferują bardziej elastyczne możliwości uczenia się. Instytucje edukacyjne będą dążyć do integracji tych rozwiązań ze swoimi programami, aby sprostać wymaganiom współczesnego rynku pracy. Co ważne, nacisk zostanie położony na dostępność i inkluzywność edukacji, co poszerzy grono odbiorców i sprawi, że nauka stanie się bardziej dostępna dla wszystkich.
Rynek EdTech w 2024 roku zapowiada się dynamicznie i innowacyjnie, oferując nowe możliwości zarówno instytucjom edukacyjnym, jak i studentom poszukującym wysokiej jakości edukacji.
Jak zostaną wykorzystane dane badawcze
Ostatecznym celem tego szeroko zakrojonego projektu, który bada podejścia do oceny jakości produktów edukacyjnych, jest stworzenie standardu jakości kursów online dla rosyjskiej branży EdTech. Oczekuje się, że model zostanie opracowany do końca 2024 roku i będzie zawierał kilka kluczowych komponentów oceny jakości programów edukacyjnych. Dla każdego z tych komponentów zostaną określone szczegółowe kryteria oceny. W proces walidacji modelu planowany jest udział czołowych ekspertów w dziedzinie edukacji online w Rosji, co zapewni wysoki poziom niezawodności. Po zakończeniu testów model zostanie zaprezentowany szerokiemu gronu odbiorców. Standard będzie składał się z czterech głównych bloków: organizacji procesów biznesowych, rozwoju produktu, wdrożenia produktu i jego pozycji rynkowej, z których każdy będzie zawierał własny zestaw kryteriów. Takie podejście zapewni wysoki poziom jakości kursów online i zwiększy ich konkurencyjność na rynku.
Umożliwi to użytkownikom wybór programów najlepiej odpowiadających ich potrzebom, a twórcy kursów będą mogli tworzyć trafne i pożądane programy edukacyjne, w pełni odpowiadające potrzebom studentów. Takie podejście przyczynia się do poprawy jakości kształcenia i wzrostu satysfakcji studentów, co z kolei wpływa na sukces kursów i ich popularność na rynku.
Opracowanie standardów jakości, jak podkreśliła Marina Kharakhordina podczas niedawnej dyskusji, może doprowadzić do stworzenia nawigatora kursów online. Ta platforma internetowa umożliwi użytkownikom łatwe wyszukiwanie kursów przy użyciu jasnych i zrozumiałych kryteriów. Twórcy produktów edukacyjnych będą mogli z kolei uwzględnić te kryteria podczas tworzenia swoich kursów, co poprawi jakość i trafność ofert w stosunku do potrzeb użytkowników.
Producent kursów online od podstaw do PRO
Dowiesz się, jak uruchamiać dochodowe kursy i webinaria przy minimalnej inwestycji. Dowiesz się, jak przekształcić istniejące projekty EdTech w zyski i zarabiać na nauce online.
Dowiedz się więcej