Zdjęcie Effectiveness of large language models and software libraries in sentiment analysis

Kategoria: Publikacja

Rok: 2025

Czasopismo: Applied Computer Science

Tom: 21

Nr: 2

ISSN: 1895-3735

Punktacja MNiSW: 70

DOI/URL: 10.35784/acs_6936

Link do Bazy Wiedzy: Baza Wiedzy

Agnieszka Wojdecka , Jakub Gromadziński , Krzysztof Walczak

Artykuł dotyczy analizy sentymentu, czyli automatycznego rozpoznawania, czy dana wypowiedź ma wydźwięk pozytywny, negatywny czy neutralny. Zagadnienie to ma dziś duże znaczenie praktyczne, ponieważ w Internecie codziennie pojawia się bardzo wiele opinii, w tym o produktach, usługach i firmach. Ich ręczna analiza byłaby czasochłonna i mało efektywna, dlatego coraz częściej wykorzystuje się do tego narzędzia oparte na przetwarzaniu języka naturalnego. Autorzy artykułu postawili pytanie, które z dostępnych rozwiązań najlepiej radzi sobie z takim zadaniem: klasyczne biblioteki programistyczne czy nowoczesne duże modele językowe. W badaniu porównano pięć narzędzi: trzy popularne biblioteki stosowane w analizie tekstu — NLTK, Pattern i TextBlob — oraz dwa duże modele językowe: ChatGPT i Gemini. Analiza została przeprowadzona w dwóch etapach. W pierwszym wykorzystano zestaw trzydziestu specjalnie przygotowanych opinii o różnym stopniu złożoności językowej. Obejmowały one nie tylko wypowiedzi proste i jednoznaczne, ale też przykłady zawierające sarkazm, ironię, slang, idiomy, wielokrotne zaprzeczenia oraz dwuznaczności. W drugim etapie zbadano rzeczywiste opinie użytkowników o wybranych produktach dostępnych na platformie Amazon. Wyniki narzędzi porównano z ocenami ludzi, które potraktowano jako punkt odniesienia. Okazało się, że duże modele językowe były wyraźnie skuteczniejsze od tradycyjnych bibliotek, zwłaszcza wtedy, gdy wypowiedzi wymagały zrozumienia kontekstu i subtelnych niuansów językowych. Najdokładniejsze wyniki uzyskał model ChatGPT, przy czym Gemini również wykazał wysoką zgodność z ocenami ludzi. Biblioteki programistyczne gorzej radziły sobie z bardziej złożonymi przykładami, szczególnie z sarkazmem, idiomami i wypowiedziami pozornie neutralnymi. Wyniki badania pokazują, że nowoczesne modele językowe mogą stać się bardzo użytecznym narzędziem do analizy opinii publikowanych w sieci. Ma to znaczenie zarówno dla firm chcących lepiej rozumieć reakcje klientów, jak i dla badaczy analizujących nastroje społeczne. Autorzy podkreślają jednak, że potrzebne są dalsze badania obejmujące większe zbiory danych, inne języki oraz bardziej wyspecjalizowane zastosowania.