Większość narzędzi do pracy z literaturą zaprojektowano tak, by pomagać użytkownikom w odnajdywaniu prac. Znacznie mniej z nich ma pomagać w zrozumieniu, gdzie dowody są ograniczone, fragmentaryczne lub w ogóle nie istnieją.
W mineris traktujemy wykrywanie luk badawczych przede wszystkim jako problem analizy pokrycia, a nie problem wnioskowania. Zamiast prosić model o wygenerowanie luk bezpośrednio z niestrukturalnego tekstu, najpierw konstruujemy strukturalną reprezentację literatury, a następnie identyfikujemy obszary, w których pokrycie dowodami jest ograniczone.
Od artykułów do strukturalnych dowodów
Każdy artykuł w korpusie jest przekształcany w strukturalne pola oparte na ramach PICO:
- Populacja (Population)
- Interwencja (Intervention)
- Wynik (Outcome)
- opcjonalnie: Projekt badania (Study design)
Przed analizą pola te są normalizowane, oczyszczane, deduplikowane i mapowane na bardziej spójne formy. Ten krok jest istotny, ponieważ nawet niewielkie różnice w terminologii mogą fragmentaryzować krajobraz dowodów i zacierać istotne wzorce.
Celem nie jest narzucenie literaturze idealnej ontologii. Chodzi raczej o wytworzenie reprezentacji na tyle spójnej, by wspierała systematyczną analizę tego, co korpus faktycznie zawiera.
Konstruowanie mapy pokrycia
Gdy artykuły zostaną ustrukturyzowane, identyfikujemy najczęstsze terminy na każdej osi, takiej jak populacja, interwencja i wynik. Terminy te wyznaczają ograniczoną przestrzeń analizy.
Następnie konstruujemy siatkę pokrycia PICO, w której każda komórka odpowiada określonej kombinacji:
- Populacja × Interwencja × Wynik
- opcjonalnie rozszerzonej o Projekt badania
Każda komórka przechowuje zbiór artykułów wspierających dokładnie tę kombinację. W ten sposób zbiór publikacji zostaje przekształcony w strukturalną mapę gęstości dowodów.
Wykrywanie obszarów o niskim pokryciu
W obrębie tej siatki pokrycia oceniane są wszystkie kombinacje mieszczące się w wybranej przestrzeni analizy. Każdą komórkę można następnie scharakteryzować jako jedną z poniższych:
- Dobrze zbadana, gdy wspierana przez wiele artykułów
- Rzadka, gdy wspierana jedynie przez niewielką liczbę artykułów
- Pusta, gdy w korpusie nie ma żadnych wspierających artykułów
Rzadkie i puste komórki stanowią podstawę tego, co określamy jako kandydatów na luki badawcze. Brak dowodów w danej komórce siatki nie powinien być jednak automatycznie interpretowany jako istotna luka.
Odfiltrowywanie prawdopodobnych artefaktów
Kluczowym elementem metody jest filtrowanie. Surowe kombinacje mogą generować mylące wyniki z powodu:
- szumu ekstrakcji
- niespójnej terminologii
- semantycznie niekompatybilnych terminów
Aby ograniczyć te artefakty, przed oznaczeniem komórki jako kandydata na lukę stosujemy dwa ograniczenia.
1. Wiarygodność semantyczna
Usuwamy kombinacje, w których:
- wynik przypomina etykietę populacji lub termin interwencji
- terminy należą do wyraźnie różnych dziedzin klinicznych
- kombinacja jest biologicznie lub klinicznie niewiarygodna
2. Wsparcie parami
Kombinacja-kandydat musi również wykazywać co najmniej minimalne współwystępowanie swoich składowych gdzieś w korpusie:
- populacja + interwencja
- populacja + wynik
- interwencja + wynik
Jeśli żadna z tych relacji parami nie występuje, pełna kombinacja jest z większym prawdopodobieństwem artefaktem kombinatorycznej przestrzeni wyszukiwania niż wiarygodnym obszarem badawczym o niskim pokryciu.
Co zwraca system
Po filtrowaniu pozostałe komórki są klasyfikowane jako:
- puste, co oznacza brak dowodów w korpusie
- rzadkie, co oznacza minimalną ilość dowodów
Są one zwracane jako kandydaci na luki badawcze wraz z:
- wspierającymi artykułami, jeśli są obecne
- przykładami dobrze zbadanych kombinacji dla kontekstu
Powstający wynik ma być:
- interpretowalny
- możliwy do zbadania
- przydatny do dalszej syntezy lub priorytetyzacji
Dlaczego nazywamy je kandydatami na luki
Podejście to nie rości sobie prawa do automatycznego identyfikowania ostatecznych luk badawczych.
Pusta lub rzadka komórka może odzwierciedlać:
- zagadnienie faktycznie niedostatecznie zbadane
- ograniczenia korpusu
- różnice w terminologii
- kombinację nieistotną klinicznie
Z tego powodu traktujemy te wyniki jako strukturalne sygnały, a nie wnioski. Mają one wspierać ekspercki przegląd, a nie go zastępować.
Dlaczego to podejście ma znaczenie
Wiele systemów wykrywania luk opiera się w dużej mierze na wnioskowaniu modelowym. Nasze podejście przebiega w innej kolejności:
- najpierw mapujemy to, co jest obecne w literaturze
- następnie identyfikujemy, gdzie pokrycie jest ograniczone
- dopiero potem interpretujemy te obszary o niskim pokryciu
Dzięki temu proces jest:
- bardziej przejrzysty
- łatwiejszy do walidacji
- mniej zależny od nieprzejrzystego zachowania modelu
Co dalej
Samo pokrycie nie wystarcza, by zdefiniować lukę badawczą. Pełniejszy system powinien uwzględniać także:
- jakość badań
- aktualność
- spójność wyników
- znaczenie dla pacjenta
Mimo to pokrycie pozostaje użytecznym fundamentem.
Przekształcając literaturę w strukturalną mapę dowodów i uwypuklając jej rzadkie obszary, dajemy badaczom bardziej systematyczny punkt wyjścia do identyfikowania potencjalnie istotnych pytań pozostających bez odpowiedzi.
Nie tylko tego, co zostało zbadane, lecz także tego, co nie zostało zbadane wystarczająco, oraz tego, czy ten brak prawdopodobnie ma znaczenie.