AI może produkować prace akademickie wystarczająco dobre dla czasopism naukowych. Nasze badanie nad ChatGPT wskazuje, że to już możliwe.
Niektórzy z największych na świecie wydawców czasopism akademickich zakazali lub ograniczyli swoim autorom możliwość korzystania z zaawansowanego chatbota, ChatGPT. Bot wykorzystuje informacje z internetu do tworzenia wysoce czytelnych odpowiedzi na pytania i wydawcy obawiają się, że niedokładne lub plagiatowane prace mogą trafić na łamy pism akademickich.
Kilku naukowców wymieniło już chatbota jako współautora swoich badań naukowych, a niektórzy wydawcy posunęli się do zakazania tej praktyki. Jednak redaktor naczelny „Science”, jednego z najważniejszych czasopism naukowych na świecie, poszedł o krok dalej i zabronił jakiegokolwiek wykorzystania tekstu z programu w nadsyłanych artykułach.
Nie jest zaskoczeniem, że wykorzystanie takich chatbotów jest przedmiotem zainteresowania wydawców akademickich. Nasze ostatnie badanie, opublikowane w „Finance Research Letters”, pokazało, że ChatGPT może być wykorzystany do napisania pracy z dziedziny finansów, która zostałaby zaakceptowana przez czasopismo akademickie. Chociaż bot radził sobie lepiej w niektórych obszarach niż w innych, dodanie naszej własnej wiedzy pomogło przezwyciężyć ograniczenia programu w oczach recenzentów.
Twierdzimy jednak, że wydawcy i naukowcy nie powinni koniecznie postrzegać ChatGPT jako zagrożenia, ale raczej jako potencjalnie ważną pomoc w badaniach – taniego lub nawet darmowego elektronicznego asystenta.
Nasz tok rozumowania był następujący: jeśli łatwo jest uzyskać dobre wyniki z ChatGPT po prostu używając go, może jest coś dodatkowego, co możemy zrobić, aby zmienić te dobre wyniki w doskonałe.
Najpierw poprosiliśmy ChatGPT o wygenerowanie standardowych czterech części badania: pomysł na projekt, przegląd literatury (ocena poprzednich badań akademickich na ten sam temat), zestaw danych oraz sugestie dotyczące testów i badań. Określiliśmy jedynie szeroki temat oraz to, że wyniki powinny móc zostać opublikowane w „prestiżowym czasopiśmie finansowym”.
To była pierwsza wersja tego, jak zdecydowaliśmy się używać ChatGPT. Dla wersji drugiej, wkleiliśmy do okna ChatGPT niespełna 200 abstraktów (streszczeń) odpowiednich, istniejących badań.
Następnie poprosiliśmy, aby program uwzględnił je podczas tworzenia czterech etapów badań. Wreszcie, w wersji trzeciej, dodaliśmy „wiedzę z dziedziny” – wkład badaczy akademickich. Przeczytaliśmy odpowiedzi stworzone przez program komputerowy i zasugerowaliśmy poprawki. W ten sposób zintegrowaliśmy naszą wiedzę z wiedzą ChatGPT.
Następnie poprosiliśmy panel 32 recenzentów, aby każdy ocenił jedną wersję tego, jak ChatGPT może być użyty do wygenerowania badania akademickiego. Recenzentów poproszono o ocenę, czy dane wyjściowe były wystarczająco wyczerpujące, poprawne i czy wniosły wkład wystarczająco nowatorski, aby zostały opublikowane w „dobrym” akademickim czasopiśmie finansowym.
Najważniejszą lekcją jest to, że wszystkie te badania zostały ocenione przez recenzentów jako akceptowalne. To dość zaskakujące: chatbot został uznany za zdolnego do generowania wysokiej jakości akademickich pomysłów badawczych. To rodzi fundamentalne pytania dotyczące znaczenia kreatywności i własności intelektualnej kreatywnych pomysłów – pytania, na które nikt jeszcze nie ma dobrych odpowiedzi.
Mocne i słabe strony
Wyniki wskazują również na pewne potencjalne mocne i słabe strony ChatGPT. Stwierdziliśmy, że różne części badań były różnie oceniane. Pomysł na projekt badawczy i zbiór danych były oceniane wysoko. Niżej, ale wciąż na akceptowalnym poziomie, oceniono przegląd literatury i sugestie dotyczące testów.
Podejrzewamy, że ChatGPT jest szczególnie mocny jeśli chodzi o zbieranie zewnętrznych tekstów i łączenie ich (esencja pomysłu badawczego), lub korzystanie z łatwo identyfikowalnych sekcji jednego dokumentu i dostosowywanie ich (przykładem jest podsumowanie danych – łatwo identyfikowalny „kawałek tekstu” w większości badań).
Względna słabość platformy ujawniła się, gdy zadanie było bardziej złożone – kiedy istnieje zbyt wiele etapów procesu koncepcyjnego. Przeglądy literatury i eksperymenty badawcze zwykle należą do tej kategorii. ChatGPT był skuteczny na niektórych z tych etapów, ale nie we wszystkich. Wydaje się, że zostało to zauważone przez recenzentów.
Byliśmy jednak w stanie przezwyciężyć te ograniczenia w naszej najbardziej zaawansowanej wersji (wersja trzecia), gdzie pracowaliśmy z ChatGPT, aby osiągnąć akceptowalne wyniki. Wszystkie sekcje zaawansowanego badania zostały następnie wysoko ocenione przez recenzentów, co sugeruje, że badacze akademiccy mają jeszcze swoją rolę do odegrania.
Konsekwencje etyczne
ChatGPT jest narzędziem. W naszym badaniu pokazaliśmy, że przy pewnej ostrożności można go użyć do wygenerowania akceptowalnego badania z dziedziny finansów. Nawet bez opieki, tworzy on wiarygodne prace.
Ma to pewne niewątpliwe implikacje etyczne. Rzetelność badań jest już palącym problemem w środowisku akademickim, a strony takie jak RetractionWatch pokazują stały strumień fałszywych, plagiatowanych i po prostu błędnych badań. Czy ChatGPT może jeszcze bardziej zaostrzyć ten problem?
Krótka odpowiedź brzmi: może. Ale nie da się włożyć dżina z powrotem do butelki. Technologia będzie również coraz lepsza (i to szybko). Jak dokładnie możemy uznać i kontrolować rolę ChatGPT w badaniach, to poważniejsze pytanie na inną dyskusję. Jednak nasze wyniki są również przydatne w tym względzie – pokazując, że wersja badania ChatGPT wzbogacona o doświadczenie naukowca jest lepsza. Udowodniliśmy w ten sposób, że wkład ludzi jest nadal niezbędny do prowadzenia wiarygodnych badań.
Na razie uważamy, że naukowcy powinni postrzegać ChatGPT jako wsparcie, a nie zagrożenie. Może być szczególnie przydatny dla grup badaczy, którzy zwykle nie mają środków finansowych na tradycyjne (ludzkie) wsparcie badawcze: naukowców z gospodarek wschodzących, studentów i początkujących pracowników naukowych. Bardzo możliwe, że ChatGPT (i podobne programy) mogą pomóc w demokratyzacji procesu badawczego.
Naukowcy muszą jednak pamiętać o zakazie stosowania nowej technologii przy przygotowywaniu prac dla czasopism specjalistycznych. Widać, że istnieją drastycznie różne poglądy na temat tej technologii, więc trzeba będzie korzystać z niej ostrożnie.
Tłumaczył: Tomasz Krzyżanowski
Ten tekst został opublikowany w The Conversation i zamieszczony tutaj na podstawie otwartej licencji (Creative Commons license). Przeczytaj oryginalny artykuł.
Polecamy także:
- Napisze wiersz, namaluje obraz. Sztuczna inteligencja wkrada się na rynek pracy
- Jak sztuczna inteligencja wpłynie na przyszłość pracy i życia?
- Wartość surowców, od których zależą nowe technologie będzie szybko rosnąć
- Kto zyskał, a kto stracił na rynku pracy przez nowe technologie? Nowy raport IBS
- Rząd staje w szranki z rynkiem w walce o informatyków. Powoła nową agencję [WYWIAD]