W ramach pracy zostało opisane podejście, które zajęło pierwsze miejsce w międzynarodowym konkursie w obszarze wiarygodności informacji. Konkurs był organizowany w ramach międzynarodowej konferencji CLEF 2024 (Conference and Labs of the Evaluation Forum). Celem konkursu była weryfikacja odporności popularnych podejść do klasyfikacji tekstu stosowanych do problemów oceny wiarygodności. Zadaniem uczestników konkursu było stworzenie przykładów kontradyktoryjnych (antagonistycznych lub zainfekowanych, z ang. „adversarial examples”) – czyli zmodyfikowanie tekstów w taki sposób, aby algorytmy klasyfikacyjne zmieniły swoją decyzję na przeciwną, ale bez zmiany znaczenia tekstu. Wyzwanie polegało na tym, że teksty musiały być zmodyfikowane w taki sposób, żeby nie tylko zmienić decyzję każdego z trzech różnych klasyfikatorów (opartych na modelach BERT, BiLSTM i RoBERTa) na każdym z ponad 2000 przykładów tekstowych, ale również zadbać o minimalną liczbę zmian symboli (słów) w tekstach oraz maksymalne zachowanie ich znaczenia semantycznego. Poza tym zadanie obejmowało teksty z 5 różnych obszarów problematycznych: ocena stronniczości wiadomości, wykrywanie propagandy, sprawdzanie faktów, wykrywanie plotek oraz dezinformacji związanej z COVID-19. Spośród wszystkich zespołów, które zgłosiły swoje wyniki, rozwiązanie opracowane przez zespół OpenFact uzyskało najwyższy wynik wg. specjalnej metryki BODEGA, która uwzględnia miary związane z poziomem skuteczności zmian w tekstach, semantycznego podobieństwa oraz odległości edycyjnej Levenshteina. Największa liczba punktów pozwoliła zająć pierwsze miejsce w rankingu, wyprzedając metody opracowane m.in. przez Uniwersytet w Zurychu (UZH). Opisane w artykule podejście może pomóc w doskonaleniu algorytmów uczenia maszynowego, które są używane w ramach różnych serwisów internetowych (np. media społecznościowe) do filtrowania treści, w szczególności w celu wykrywania tekstów wprowadzających w błąd, szkodliwych lub po prostu nielegalnych. Autorzy pracy: dr Włodzimierz Lewoniewski, dr Piotr Stolarski, dr Milena Stróżyna, dr Elżbieta Lewańska, mgr inż. Aleksandra Wojewoda, mgr Ewelina Księżniak, mgr Marcin Sawiński. Publikacja jest dostępna na stronie: https://arxiv.org/abs/2409.02649