Z radością przedstawiamy artykuł, który został przyjęty do publikacji w ramach konferencji CSEDU (17th International Conference on Computer Supported Education). Odbędzie się ona w dniach 1-3 kwietnia w Porto w Portugalii.
Współpraca na rzecz integracji nowoczesnych technologii edukacyjnych
Artykuł prezentuje projekt będący efektem współpracy Medico i SuperMemo. Jego celem była zmiana tego, jak studenci medycyny i lekarze rezydenci w Polsce przygotowują się do Państwowego Egzaminu Specjalizacyjnego (PES). Inicjatywa ta łączy zalety obu platform, aby zapewnić innowacyjne i skuteczne doświadczenie edukacyjne.
Medico, serwis należący do Wydawnictwa Naukowego PWN, oferuje obszerną bazę wiedzy medycznej, które obejmuje ponad 120 000 dokumentów, w tym podręczniki, artykuły naukowe czy wytyczne kliniczne. Znajdująca się w tym serwisie zaawansowana wyszukiwarka pozwala użytkownikom szybko odnaleźć precyzyjne informacje na temat konkretnych zagadnień klinicznych. SuperMemo natomiast jest światowym pionierem i liderem wspomagania nauki z użyciem metody optymalizacji powtórek (spaced repetition). Polega ona na przewidywaniu krzywych zapominania obliczanych indywidualnie dla poszczególnych użytkowników i zapamiętywanych przez nich informacji. Algorytm SuperMemo proponuje powtórki w optymalnych momentach, tak aby zminimalizować liczbę powtórzeń przy jednoczesnym utrwalaniu wiedzy z zadanym poziomem retencji.
Głównym celem wspólnego projektu Medico i SuperMemo było stworzenie kursów przygotowujących do Państwowego Egzaminu Specjalizacyjnego dla lekarzy (PES). Wykorzystano technologię Retrieval-Augmented Generation (RAG) do wygenerowania szczegółowych komentarzy do niemal 20 000 pytań egzaminacyjnych. PES to kluczowy egzamin dla lekarzy i dentystów, którzy ubiegają się o uzyskanie tytułu specjalisty w danej dziedzinie medycyny. Opracowane kursy mają pomóc przyszłym specjalistom w opanowaniu niezbędnej wiedzy i kompetencji wymaganych do sukcesu na egzaminie.
RAG: Nauka w oparciu o kontekstowe wyjaśnienia
RAG to innowacyjne podejście łączące wyszukiwanie informacji z generowaniem tekstu. W kontekście kursów PES oznacza to, że dla każdego pytania egzaminacyjnego system pobiera odpowiednie fragmenty z obszernej bazy wiedzy Medico i na ich podstawie generuje szczegółowy komentarz wyjaśniający poprawną odpowiedź, korzystając z dodatkowego kontekstu. Dzięki temu użytkownicy nie tylko poznają właściwą odpowiedź, ale również zrozumieją stojące za nią uzasadnienie, mając jednocześnie dostęp do wiedzy naukowej opartej na faktach.
Jakość generowanych przez RAG komentarzy jest kluczowa dla skuteczności procesu uczenia się. Badania opisane w artykule źródłowym koncentrowały się na zwiększeniu adekwatności dokumentów źródłowych wykorzystywanych jako kontekst dla RAG. Im trafniejsze źródła, tym dokładniejsze, bardziej wiarygodne i spójne są generowane komentarze. Z tego powodu znacząca część projektu została poświęcona udoskonaleniu systemu wyszukiwania, mechanizmom rerankingu i promptowania.
Znacząca poprawa trafności wyszukiwania dokumentów
Dzięki eksperymentom i ocenie przeprowadzonej przez ekspertów medycznych udało się osiągnąć istotną poprawę trafności wyszukiwanych dokumentów. Średnia liczba relewantnych dokumentów wzrosła z 4,59 do 6,83 na 10. To ulepszenie sprawia, że system RAG dostarcza użytkownikom najbardziej adekwatne i wiarygodne informacje, minimalizując przeciążenie poznawcze i maksymalizując efektywność przyswajania wiedzy.
W wyniku współpracy oraz integracji systemów SuperMemo i Medico powstało wysokiej jakości skalowalne i zindywidualizowane narzędzie edukacyjne, które odpowiada na szczególne potrzeby kształcenia medycznego w Polsce. Zostanie ono wdrożone w ramach pierwszych pilotaży na polskich uczelniach medycznych już w marcu 2025 roku.
Przeczytaj pełen artykuł „Optimizing Retrieval-Augmented Generation of Medical Content for Spaced Repetition Learning”
