Lekarze porównali Google Bard i ChatGPT. Każdy ma inne wady

Badanie opisane na łamach "Journal of Medical Internet Research" dotyczyło wykorzystania obu modeli AI w celu pozyskiwania wiedzy na temat leczenia choroby Alzheimera. Jego autorzy stwierdzili, że choć informacje od modelu językowego Google były najbardziej aktualne, to jednak mocno zniekształcone przez poszukujących klientów dostawców usług i producentów. Jednocześnie ChatGPT, który jest zdecydowanie bardziej obiektywny, nie ma dostępu do najświeższej wiedzy medycznej.

- Jeśli wyodrębnilibyśmy najlepsze cechy obu tych modeli językowych, otrzymalibyśmy dużo lepszy system. Zresztą tak się zapewne stanie w ciągu najbliższych kilku lat – mówi prof. Vagelis Hristidis, główny autor omawianej publikacji.

Interdyscyplinarne badanie pod jego kierownictwem przeprowadzili informatycy z Uniwersytetu Kalifornijskiego w Riverside oraz klinicyści z University of Alabama i Florida International University. Przesłali 60 zapytań zarówno do sztucznej inteligencji stworzonej przez Google oraz do udostępnionego przez OpenAI ChatGPT. Były to typowe zapytania od osób żyjących z demencją i ich rodzin; codziennie tysiące takich pojawia się w wyszukiwarkach internetowych. Naukowcy skupili się na demencji, ponieważ na zaburzenia z tej grupy cierpi już ponad sześć milionów Amerykanów.

Dalsza część artykułu pod materiałem wideo

- Badania pokazują, że opiekunowie osób z demencją są jednymi z najbardziej zaangażowanych w zdobywanie informacji zdrowotnych z internetu, ponieważ to właśnie oni często muszą podejmować ważne decyzje dotyczące opieki nad chorym bliskim – wyjaśniają.

Połowa użytych w badaniu zapytań dotyczyła informacji o samym procesie chorobowym, a połowa o usługach, które mogłyby pomóc pacjentom i ich rodzinom.Wyniki były bardzo zróżnicowane.

- Google dawał bardziej aktualne informacje i obejmował wszystkie poruszane zagadnienia – opowiada prof. Hristidis. - ChatGPT jest natomiast aktualizowany co kilka miesięcy, więc pozostaje w tyle. Jeśli na przykład w zeszłym tygodniu pojawił się jakiś nowy lek na rynku, ChatGPT o nim nie opowie.

Jednak choć nieco "przestarzały", ChatGPT dostarczał bardziej wiarygodnych i dokładniejszych informacji niż Google. Zdaniem naukowców dzieje się tak, ponieważ twórcy tego pierwszego wybierają do szkolenia swojego modelu poprzez uczenie maszynowe najbardziej niezawodne strony internetowe.

W przypadku Google istnieje zaś duży problem z niezawodnością, ponieważ udzielane przez niego odpowiedzi "zasadniczo obejmują wszystko: od wiarygodnych źródeł po reklamy".

W rzeczywistości wygląda to tak, że reklamodawcy płacą Google za wyświetlanie linków do ich witryn na górze stron z wynikami wyszukiwania. Dlatego użytkownicy często najpierw widzą odnośniki do firm poszukujących zysku, próbujących sprzedać swoje usługi lub produkty związane z opieką nad chorymi. "Znalezienie wiarygodnych informacji w Google wymaga zatem pewnego poziomu umiejętności i doświadczenia użytkownika" - mówi Hristidis.

W przypadku poszukiwania informacji nt. choroby Alzheimera bardzo ważna jest jednak aktualna wiedza, ponieważ postęp w tej dziedzinie dokonuje się każdego dnia.

- Chociaż nie ma lekarstwa na tę chorobę, to wiele badań klinicznych jest w toku, a ostatnio FDA zatwierdziła obiecującą terapię dla osób we wczesnym stadium - mówi badacz. - Takie aktualne informacje są więc ważne dla rodzin, które chcą dowiedzieć się o ostatnich odkryciach i dostępnych metodach leczenia.

Autorzy badania piszą, że "dodanie zarówno źródła, jak i daty informacji związanych ze zdrowiem oraz dostępności w innych językach może zwiększyć wartość obu platform, zarówno dla pracowników niemedycznych, jak i medycznych".

Zwracają także uwagę, że zarówno model Google, jak i ChatGPT uzyskały niskie wyniki w zakresie czytelności, co oznacza, że osoby z niższym poziomem wykształcenia oraz niskimi umiejętnościami w zakresie wiedzy o zdrowiu mają ograniczone możliwości ich odpowiedniego zrozumienia.

- Według mnie ten ostatni czynnik jest jednak najłatwiejszy do poprawienia, ponieważ istnieją już narzędzia, także oparte o sztuczną inteligencję, które potrafią czytać i parafrazować tekst – wyjaśnia prof. Hristidis. - Jeśli zaś chodzi o poprawę niezawodności i dokładności, jest to o wiele trudniejsze. Nie zapominajmy, że stworzenie ChatGPT zajęło naukowcom wiele dziesięcioleci badań nad sztuczną inteligencją. To będzie powolny proces.