Kategoria: Publikacja
Rok: 2025
Czasopismo: Applied Computer Science
Tom: 21
Nr: 2
ISSN: 1895-3735
Punktacja MNiSW: 70
DOI/URL: 10.35784/acs_6936
Link do Bazy Wiedzy:
Baza Wiedzy
Artykuł dotyczy analizy sentymentu, czyli automatycznego rozpoznawania, czy dana wypowiedź ma wydźwięk pozytywny, negatywny czy neutralny. Zagadnienie to ma dziś duże znaczenie praktyczne, ponieważ w Internecie codziennie pojawia się bardzo wiele opinii, w tym o produktach, usługach i firmach. Ich ręczna analiza byłaby czasochłonna i mało efektywna, dlatego coraz częściej wykorzystuje się do tego narzędzia oparte na przetwarzaniu języka naturalnego. Autorzy artykułu postawili pytanie, które z dostępnych rozwiązań najlepiej radzi sobie z takim zadaniem: klasyczne biblioteki programistyczne czy nowoczesne duże modele językowe.
W badaniu porównano pięć narzędzi: trzy popularne biblioteki stosowane w analizie tekstu — NLTK, Pattern i TextBlob — oraz dwa duże modele językowe: ChatGPT i Gemini. Analiza została przeprowadzona w dwóch etapach. W pierwszym wykorzystano zestaw trzydziestu specjalnie przygotowanych opinii o różnym stopniu złożoności językowej. Obejmowały one nie tylko wypowiedzi proste i jednoznaczne, ale też przykłady zawierające sarkazm, ironię, slang, idiomy, wielokrotne zaprzeczenia oraz dwuznaczności. W drugim etapie zbadano rzeczywiste opinie użytkowników o wybranych produktach dostępnych na platformie Amazon.
Wyniki narzędzi porównano z ocenami ludzi, które potraktowano jako punkt odniesienia. Okazało się, że duże modele językowe były wyraźnie skuteczniejsze od tradycyjnych bibliotek, zwłaszcza wtedy, gdy wypowiedzi wymagały zrozumienia kontekstu i subtelnych niuansów językowych. Najdokładniejsze wyniki uzyskał model ChatGPT, przy czym Gemini również wykazał wysoką zgodność z ocenami ludzi. Biblioteki programistyczne gorzej radziły sobie z bardziej złożonymi przykładami, szczególnie z sarkazmem, idiomami i wypowiedziami pozornie neutralnymi.
Wyniki badania pokazują, że nowoczesne modele językowe mogą stać się bardzo użytecznym narzędziem do analizy opinii publikowanych w sieci. Ma to znaczenie zarówno dla firm chcących lepiej rozumieć reakcje klientów, jak i dla badaczy analizujących nastroje społeczne. Autorzy podkreślają jednak, że potrzebne są dalsze badania obejmujące większe zbiory danych, inne języki oraz bardziej wyspecjalizowane zastosowania.