Analiza sentymentu — czym jest i jak ją prowadzić

Analiza sentymentu to automatyczne rozpoznawanie wydźwięku wypowiedzi — czy tekst jest pozytywny, negatywny czy neutralny. Ten przewodnik jest dla zespołów CX, obsługi i produktu, które mają setki odpowiedzi na pytania otwarte i nikogo, kto zdąży je przeczytać. Wyjaśniamy, jakimi metodami prowadzi się analizę sentymentu i czym różnią się one w praktyce, czym jest sentiment score, a czym Net Sentiment Score, jak czytać wyniki, żeby nie wyciągnąć z nich fałszywych wniosków, i co duże modele językowe zmieniły w analizie polskich wypowiedzi. Na końcu pokazujemy, jak uruchomić analizę sentymentu na własnych danych, zaczynając od jednego punktu styku.

Czym jest analiza sentymentu?

Analiza sentymentu (ang. sentiment analysis, w polskiej literaturze także analiza wydźwięku) to dziedzina przetwarzania języka naturalnego zajmująca się wykrywaniem postaw i emocji wyrażonych w tekście. Zamiast pytać klienta o ocenę w skali, wyciąga ją z tego, co i tak napisał.

To rozróżnienie ma praktyczną konsekwencję. Ocena w ankiecie jest danymi ustrukturyzowanymi — z góry wiadomo, że wynik będzie liczbą od 1 do 5. Komentarz pod tą oceną to dane nieustrukturyzowane: nikt nie wie z góry, ile będzie miał zdań, o czym będzie i czy w ogóle da się z niego coś wyczytać. Analiza sentymentu jest właśnie sposobem na zamienienie drugiego w pierwsze.

Kanoniczne ujęcie dziedziny dał Bing Liu w Sentiment Analysis and Opinion Mining (Morgan & Claypool, 2012), gdzie opisał ją jako zadanie klasyfikacji na trzech poziomach: całego dokumentu, pojedynczego zdania i konkretnego aspektu. Ten trzeci poziom jest w badaniach klienta najbardziej użyteczny — pozwala powiedzieć nie tylko „ta opinia jest negatywna”, ale „ta opinia jest negatywna wobec czasu dostawy, a pozytywna wobec obsługi”.

Jak działa analiza sentymentu

Ocenianie pojedynczej wypowiedzi to zadanie z przetwarzania języka naturalnego i realizuje się je na cztery sposoby.

• Metody słownikowe. Każde słowo sprawdzane jest w słowniku wydźwięku, który przypisuje mu wagę, a wagi się sumuje lub uśrednia. Podejście przejrzyste i tanie, ale ślepe na kontekst — „nie najgorszy” rozpada się na dwa negatywne sygnały, choć całość jest umiarkowanie pozytywna.
• Uczenie maszynowe. Model trenuje się na tekstach z gotowymi etykietami, uczy się, które wzorce zapowiadają który wydźwięk, a potem ocenia nowe wypowiedzi. Dokładniejszy, ale wymaga danych treningowych — i to danych z Twojej dziedziny, bo model wytrenowany na recenzjach filmów kiepsko radzi sobie ze zgłoszeniami serwisowymi.
• Metody regułowe. Ręcznie napisane wzorce decydują o wyniku: konkretne słowa, negacje, intensyfikatory. Przewidywalne i łatwe do zaudytowania, kosztowne w utrzymaniu.
• Podejścia hybrydowe. Warstwa słownikowa lub regułowa nałożona na model — i to właśnie one działają w większości systemów produkcyjnych.

Niezależnie od metody tekst zwykle najpierw się czyści: usuwa interpunkcję i słowa nieniosące znaczenia, a całość dzieli na słowa lub frazy. Przełom w skuteczności przyniosły modele uwzględniające strukturę zdania, a nie tylko zbiór słów — pokazał to zespół Stanford NLP na zbiorze Sentiment Treebank, gdzie uwzględnienie składni podniosło trafność klasyfikacji zdań o kilkanaście punktów procentowych.

Przykład obliczenia

Weźmy zdanie: „Nowa aplikacja jest świetna. Szybka, czytelna i ma dobre funkcje.” Metoda słownikowa znajduje cztery słowa niosące wydźwięk:

$\text{sentiment score} = \frac{0{,}9 + 0{,}7 + 0{,}8 + 0{,}8}{4} = 0{,}8$

Wynik 0,8 klasyfikuje wypowiedź jako wyraźnie pozytywną. Powtórz to na tysiącu komentarzy, policz, ile wyszło pozytywnych, a ile negatywnych, i masz dane wejściowe do wskaźnika zbiorczego.

Sentiment score a Net Sentiment Score

Te dwa pojęcia bywają używane zamiennie i to jest źródłem sporej części nieporozumień wokół całej metody.

Innymi słowy: sentiment score jest wejściem, a Net Sentiment Score wyjściem. Drugiego nie da się policzyć bez pierwszego, a mylenie ich prowadzi do raportów, w których nie wiadomo, czy liczba −0,3 to jedna zła opinia, czy katastrofa całego kwartału.

Wzór na Net Sentiment Score

NSS to udział wypowiedzi pozytywnych pomniejszony o udział negatywnych.

$\text{NSS} = (\% \text{ wypowiedzi pozytywnych}) - (\% \text{ wypowiedzi negatywnych})$

Przykład na tysiącu komentarzy: 600 pozytywnych (60%), 200 negatywnych (20%), 200 neutralnych (20%). NSS wynosi 60 − 20 = 40. Neutralne wchodzą do mianownika, więc rozwadniają wynik, ale nie przesuwają go w żadną stronę.

Jak czytać wyniki analizy sentymentu

Tu popełnia się najwięcej błędów, bo wynik wygląda na obiektywny, a w rzeczywistości zależy od kilku decyzji podjętych po drodze.

Próg waży więcej niż rzeczywistość. To, czy wypowiedzi letnie wpadną do neutralnych, czy do negatywnych, przesuwa wskaźnik mocniej niż realna zmiana nastrojów klientów. Ten sam zbiór opinii daje 40 przy neutralnych w mianowniku i 50, gdy liczyć wyłącznie spolaryzowane. Próg wybiera się raz i nie rusza w trakcie serii — jego zmiana unieważnia całą historię porównań.

Wynik nie jest porównywalny między źródłami. Recenzje przyciągają skrajności, zgłoszenia do obsługi z definicji zbierają problemy, a ankieta wysłana po udanym zakupie łapie klienta w jego najlepszym momencie. Ta sama firma potrafi mieć w jednym tygodniu trzy zupełnie różne wyniki sentymentu, zależnie wyłącznie od tego, gdzie zapytała.

Średnia ukrywa temat. Stabilny wynik ogólny bywa sumą rosnącego zadowolenia z obsługi i pogarszającej się oceny produktu. Dopóki nie rozbijesz sentymentu na tematy, kanały i segmenty, mówi on głównie tyle, że nic się nie dzieje.

Praktyczny wniosek jest taki sam jak przy innych wskaźnikach doświadczenia: jedynym w pełni uczciwym punktem odniesienia jest Twój własny poprzedni pomiar — na tym samym źródle, przy tej samej metodzie i tym samym progu.

Polski był problemem. Duże modele językowe go rozwiązały

Przez lata analiza sentymentu prowadzona po polsku wypadała wyraźnie gorzej niż po angielsku i miało to trzy konkretne przyczyny.

Fleksja. Jedno słowo występuje w kilkunastu formach — dobry, dobra, dobrego, dobrym, dobrze — a słownik wydźwięku rozpoznawał tylko tę, którą ktoś do niego wpisał. Bez lematyzacji metoda słownikowa traciła znaczną część trafień.

Negacja i swobodny szyk. „Nie jest zły” to wypowiedź pozytywna zbudowana z dwóch negatywnych sygnałów. Reguła oparta na sąsiedztwie słów działa w polskim gorzej niż w angielskim, gdzie kolejność jest sztywna.

Mało zasobów. Anglojęzyczne modele miały do dyspozycji ogromne zbiory tekstów z gotowymi etykietami. Polski miał ich wielokrotnie mniej — stąd znaczenie prac takich jak zasoby CLARIN-PL czy cykliczne konkursy PolEval, w których zadania z analizy wydźwięku pojawiają się regularnie.

To opis stanu sprzed kilku lat. Duże modele językowe uczone wielojęzycznie radzą sobie z polską odmianą, negacją i swobodnym szykiem natywnie, bo nie dopasowują słów do słownika, tylko interpretują zdanie w kontekście. Ironia, understatement i wypowiedzi mieszane — „produkt spoko, tylko dostawa masakra” — przestały być barierą nie do przejścia. W praktyce oznacza to, że nie potrzebujesz już polskiego słownika wydźwięku ani modelu trenowanego osobno na własnej branży, żeby dostać użyteczny wynik. Szerzej o tym, co AI potrafi dziś zrobić z odpowiedziami otwartymi, piszemy w tekście o automatycznej analizie odpowiedzi.

Co w zamian stało się trudne

Wąskie gardło analizy sentymentu przesunęło się, a nie zniknęło — i o tym mówi się znacznie rzadziej.

• Powtarzalność. Ta sama wypowiedź potrafi dostać różną etykietę w dwóch przebiegach, jeśli nie ustalisz na sztywno promptu i parametrów. Przy wskaźniku śledzonym w czasie to nie jest niuans, tylko warunek sensowności całej serii.
• Próg jest teraz Twoją decyzją. Model chętnie zwróci „raczej pozytywny” i ktoś musi rozstrzygnąć, czy to trafia do pozytywnych, czy do neutralnych. Wcześniej próg wynikał ze słownika, dziś ustala go człowiek — i dlatego trzeba go zapisać.
• Żargon i kontekst firmowy. Model rozumie polski, ale nie wie, że w Twojej firmie „wdrożenie” to nazwa procesu, a nie ocena. Nazwy własne, skróty i wewnętrzne słownictwo nadal potrafią przechylić klasyfikację.
• Koszt przy dużym wolumenie. Przy setkach tysięcy wypowiedzi różnica między klasyfikatorem a modelem językowym przestaje być akademicka i zaczyna być pozycją w budżecie.

Wniosek praktyczny jest odwrotny do tego, który obowiązywał jeszcze niedawno: nie martw się już, czy metoda poradzi sobie z polszczyzną — pilnuj, żeby radziła sobie tak samo za każdym razem. Kontrolna próbka stu wypowiedzi oznaczonych ręcznie nadal jest najtańszym sposobem, żeby to sprawdzić.

Gdzie stosuje się analizę sentymentu

Wszędzie tam, gdzie tekstu jest za dużo, by go przeczytać:

• odpowiedzi na pytania otwarte w ankietach — najbogatsze źródło, bo klient pisze o tym, co sam uznał za ważne;
• zgłoszenia i czaty z obsługą klienta — z zastrzeżeniem, że ten kanał z natury zbiera problemy;
• recenzje produktów i opinie w sklepach — skrajne z definicji, bo pisze je ten, kto ma silną motywację;
• wzmianki w mediach społecznościowych — najszybszy sygnał ostrzegawczy przy kryzysie wizerunkowym;
• odpowiedzi na ankiety e-mail i wiadomości zwrotne od klientów.

Warunek jest jeden: dostateczny wolumen. Przy trzydziestu wypowiedziach kilka mocno napisanych komentarzy przechyli wynik i będzie to szum, a nie sygnał.

Analiza sentymentu a NPS i CSAT

Analiza sentymentu nie zastępuje wskaźników ankietowych — odpowiada na inne pytanie i pochodzi z innego źródła.

Najwięcej daje połączenie: ocena mówi ile, a sentyment z komentarza pod nią mówi dlaczego. Szerzej opisaliśmy to w przewodniku po badaniu satysfakcji klienta oraz w tekście o customer experience.

Jak prowadzić analizę sentymentu w Interankietach

Klikanie po odpowiedziach otwartych i tagowanie ich ręcznie działa do pierwszej setki — potem program zwykle umiera. Dlatego Athena, nasz agent AI, oznacza odpowiedzi otwarte jako pozytywne, negatywne i neutralne w momencie, w którym spływają, grupuje je w powtarzalne tematy i pokazuje, który z nich realnie ciągnie wynik w dół.

Sentyment trafia wtedy do analizy opinii razem z ocenami liczbowymi, więc możesz rozbić go po kanale, segmencie i etapie ścieżki, a nie tylko oglądać jedną średnią. Wynik aktualizuje się na bieżąco, bez ręcznego składania raportów.

Zacznij od jednego punktu styku i krótkiej ankiety z jednym pytaniem otwartym. Dopiero gdy zespół potrafi przejść od komentarza do zmiany, warto rozszerzać analizę sentymentu na kolejne źródła.

Jak zacząć analizę sentymentu krok po kroku

Wdrożenie analizy sentymentu potrafi utknąć na etapie pilota, bo zespół zaczyna od wszystkich źródeł naraz. Sensowniejsza kolejność wygląda tak.

1. Wybierz jedno źródło. Najlepiej odpowiedzi na pytanie otwarte pod oceną, bo masz do nich kontekst liczbowy i wiesz, kiedy powstały. Media społecznościowe zostaw na później — są najgłośniejsze, ale i najbardziej zaszumione.

2. Zdecyduj o progu i zapisz tę decyzję. Ustal, co trafia do neutralnych, i zanotuj to w dokumentacji badania. To brzmi jak formalność, dopóki po pół roku ktoś nie zmieni ustawienia i cała seria pomiarów przestanie się zgadzać.

3. Oznacz ręcznie próbkę kontrolną. Sto losowych wypowiedzi przeczytanych przez człowieka daje punkt odniesienia dla klasyfikatora. Bez tego nie wiesz, czy analiza sentymentu na Twoich danych ma trafność 60 czy 90 procent — a różnica jest ogromna.

4. Rozbij wynik na tematy. Sam wskaźnik zbiorczy rzadko prowadzi do decyzji. Dopiero podział na powtarzalne tematy pokazuje, że spadek bierze się z jednego procesu, a nie z ogólnego pogorszenia nastrojów.

5. Powtórz pomiar po zmianie. Zmień jedną rzecz, poczekaj na porównywalną próbkę i sprawdź wynik przy tym samym progu i na tym samym źródle. Kilka zmian naraz robi rezultat nieczytelnym.

Przy takim podejściu analiza sentymentu przestaje być raportem, a staje się pętlą: sygnał, przyczyna, poprawka, ponowny pomiar.

Podsumowanie

Analiza sentymentu zamienia tekst, którego nikt nie ma czasu przeczytać, w liczbę, na której da się pracować. Warto przy tym pamiętać o trzech rzeczach, zanim wynik trafi na dashboard zarządu: sentiment score dotyczy pojedynczej wypowiedzi, a Net Sentiment Score całego zbioru; wynik zależy od progu i źródła co najmniej tak mocno jak od opinii klientów; a polszczyzna przestała być barierą dla samej metody, za to powtarzalność wyników i kontrola na ręcznie oznaczonej próbce stały się warunkiem, żeby wskaźnik dało się śledzić w czasie.

Zacznij od jednego pytania otwartego i sprawdź, co naprawdę piszą Twoi klienci — to zwykle wystarcza, żeby przekonać zespół, że analiza sentymentu nie jest ciekawostką, tylko listą rzeczy do naprawienia.

FAQ