W maju 2024 roku na jednej z grup dla copywriterów przeprowadziłem ankietę na temat wykorzystania AI. Aż 69% osób przyznało, że w ich odczuciu freelacerzy i agencje wysyłają klientom teksty wygenerowane przez sztuczną inteligencję, nie przyznając się do tego lub wręcz stwierdzając, że treść stworzył człowiek. Jednocześnie coraz więcej zleceniodawców zakazuje korzystania z narzędzi typu ChatGPT. Czy istnieje sposób na sprawdzenie, że copywriter faktycznie tego nie robi?
Spis treści:
Czy detektory AI są skuteczne?
Odpowiem wprost: nie. Nie ma narzędzia, które ze stuprocentową trafnością odróżni tekst napisany przez człowieka od tego, który wygenerował ChatGPT.
Detektory AI, podobnie jak narzędzia do tworzenia treści, wykorzystują do działania uczenie maszynowe. Są one trenowane do wyłapywania struktur językowych i schematów specyficznych zarówno dla robotów, jak i człowieka. Na tej podstawie oceniają, w jaki sposób najprawdopodobniej powstała treść (a dokładniej – które jej fragmenty wygenerowała sztuczna inteligencja).
Detektory AI nie są skuteczne, ponieważ:
- struktury językowe „charakterystyczne” dla robotów mogą być zwykłymi, powszechnie stosowanymi przez ludzi strukturami,
- klient może oczekiwać tekstu pozbawionego „ludzkich cech” (np. obiektywnego, bezosobowego, bez emocji, o ułożonej i powtarzalnej strukturze),
- dobrze przygotowany, rozbudowany prompt może sprawić, że tekst nie będzie posiadał cech tekstu wygenerowanego przez AI,
- drobne zmiany w treści naniesione przez człowieka mogą zmylić algorytmy.
Czy ChatGPT da się wykryć? Test AI Detector
Aby pokazać Ci, że narzędzia do wykrywania sztucznej inteligencji w tekstach są, delikatnie mówiąc, niedoskonałe, wykonałem kilka testów AI Detectora od ZeroGPT.
Na początek poprosiłem o ocenę dwóch tekstów na temat klątwy wiedzy. Jeden napisałem ja, a drugi – ChatGPT. Mimo że w ogóle nie korzystałem z pomocy sztucznej inteligencji, narzędzie uznało, że zrobiłem to w przypadku 38,48% tekstu. Wygenerowany artykuł uzyskał wynik powyżej 90% i został jednoznacznie zakwalifikowany jako dzieło sztucznej inteligencji.
Kolejny test dotyczył artykułu na temat trendów odzieżowych na sezon jesienno-zimowy. Pierwsza wersja tekstu została w całości wygenerowana w ChatGPT przy pomocy jednego promptu. Drugą dopracowałem kolejnymi dwoma promptami w taki sposób, by brzmiała bardziej „ludzko”. Zrobiłem to dosłownie w minutę, a udało mi się znacząco obniżyć odsetek tekstu uznanego za dzieło AI.
W sieci krąży wiele informacji o tym, że narzędzia AI doszukują się pracy ChataGPT w aktach prawnych czy dziełach literackich. Zainspirowany tym tematem, postanowiłem sprawdzić działanie AI Detectora na przykładach tekstów, które z pewnością powstały bez użycia sztucznej inteligencji. Oto efekty!
| Analizowana treść | Odsetek AI wg AI Detector [%] |
| Wytyczne do artykułu naukowego z 2017 roku | 78,15 |
| Uzasadnienie wyroku sądu z 2018 roku | 59,09 |
| Informacja kancelarii prezydenta z 2004 roku | 58,55 |
| Rozdział 1 Księgi Rodzaju (Biblia) | 41,88 |
| Felieton Olgi Tokarczuk z 2020 roku | 10,40 |
Narzędzie testowałem dodatkowo na kilkunastu innych artykułach. Efekty? AI Detector zawsze określał jakąś część tekstu jako wygenerowaną przez sztuczną inteligencję. Często miał problemy z rozpoznaniem treści całkowicie stworzonej przez roboty. Nie jest zatem narzędziem, któremu można w pełni ufać. Jednak jeśli wynik jest bliski 100%, warto dokładniej przeanalizować artykuł.
Różne narzędzia dają różne wyniki
Marketingowy szał na sztuczną inteligencję sprawił, że firmy zaczęły na potęgę tworzyć narzędzia AI. Dlatego na rynku dostępne są dziesiątki, jeśli nie setki detektorów do wykrywania wygenerowanych treści. Każdy z nich uczy się działania na innych danych wejściowych, dlatego też ich wyniki są różne.
Przetestowałem 5 często polecanych detektorów AI. Jak widzisz, każdy z nich radzi sobie różnie z wykrywaniem AI. Trzy narzędzia jednoznacznie zakwalifikowały tekst z ChataGPT jako napisany przez człowieka. Dwa pozostałe całkiem nieźle rozpoznały sztuczną inteligencję. W dużej mierze również w tych artykułach, które w 100% tworzył copywriter.
| Narzędzie | Tekst AI [% AI] | Tekst copywritera [% AI] |
| Scribbr | 91 | 38 |
| ZeroGPT | 97,24 | 56,8 |
| GPTZero | 28 | 18 |
| writer.com | 6 | 6 |
| Content at Scale | 0* | 0* |
Wielu specjalistów ds. marketingu prześciga się w zachwalaniu narzędzi do wykrywania AI. Tymczasem ja widzę w nich duże zagrożenie zarówno dla klientów, jak i copywriterów. Jeśli klient otrzyma fałszywą informację o tym, że tekst jest napisany przez człowieka, zapłaci dużo więcej za coś, co powinno kosztować grosze. Z drugiej strony niesłuszne oskarżenie o korzystanie z ChataGPT będzie frustrowało copywriterów, którzy samodzielnie wykonali swoją pracę. Dlatego przypomnę jeszcze raz:
Narzędzia do wykrywania AI nie są skuteczne w 100%.
Jak rozpoznać tekst z ChataGPT?
Czy niska skuteczność detektorów AI oznacza, że nie da się rozpoznać treści stworzonej przez ChatGPT? To zależy.
Jeśli ktoś wygenerował treść przy pomocy dopracowanych promptów, a następnie dokonał korekty stylu i języka, to może być trudno. Dużo łatwiej wyłapać „dzieło” sztucznej inteligencji powstałe po jednej komendzie w stylu „Napisz artykuł na temat (…)”. Jakie cechy ma taki tekst?
Każdy wyraz w nagłówkach zapisany wielką literą
W artykułach anglojęzycznych zapisywanie każdego wyrazu w nagłówku wielką literą jest standardem. W języku polskim nie ma z kolei sensu. Dlaczego więc ktokolwiek tak pisze? Przyczyny mogą być dwie. Pierwsza – copywriter ma złe nawyki, bo gdzieś usłyszał, że takie śródtytuły są bardziej skuteczne. Druga – artykuł został wygenerowany w ChatGPT.
Sformułowania typu: „w dzisiejszym biznesowym świecie”
Rozpoczynanie tekstu od sformułowania „w dzisiejszym świecie” budziło kontrowersje jeszcze przed erą AI. Taki wstęp zapowiadał zwykle lanie wody, a więc niską wartość merytoryczną artykułu. Dzisiaj jest także jedną z najbardziej typowych cech tekstów stworzonych przez roboty – ChatGPT bardzo często je stosuje.
Nienaturalne wypunktowania i listy
Jeśli w tekście pojawiają się wypunktowania i listy, to dobrze świadczy o copywriterze. W końcu taka forma prezentacji treści ułatwia czytelnikowi lekturę. Jeśli jednak artykuł składa się wyłącznie z punktów, a przez to przypomina bardziej notatki ze studiów niż wpis blogowy, to najpewniej został wygenerowany przez ChatGPT.
Bardzo ogólnikowe potraktowanie tematu
ChatGPT unika wchodzenia w szczegóły. Wygenerowany artykuł może sprawiać wrażenie dobrego, ale w praktyce często niewiele z niego nie wynika. Brak w nim odniesień do konkretnych sytuacji lub materiałów źródłowych. Bywa, że zdania – choć poprawnie zbudowane – nie mają logicznego sensu.
Brak przykładów i praktycznych, życiowych wskazówek
Przykłady i wskazówki w tekście świadczą o znajomości tematu, branży i konkretnej firmy. Są także efektem nieco większego wkładu pracy w artykuł. ChatGPT raczej ich nie uwzględnia w treści.
AI może pomóc. Może też zaszkodzić
ChatGPT jest narzędziem, które może ułatwić pracę copywritera. Sprawdza się dobrze do researchu, szukania inspiracji czy pomysłów na teksty. Jednak bezmyślne generowanie artykułów, zwłaszcza bez korekty i eksperckiej redakcji, jest prostym przepisem na wizerunkową katastrofę. Generatywna sztuczna inteligencja nadal popełnia błędy merytoryczne i stwarza ryzyko splagiatowania czyjegoś tekstu. Problemem są również prawa autorskie do treści – w końcu autor promptów ich nie posiada.
Sieć zalewa fala treści niskiej jakości. Jeśli chcesz się wyróżnić na tle konkurencji, postaw na wartościowy copywriting. Nie wiesz, jak się za to zabrać? Chętnie Ci pomogę! Sprawdź, co mogę dla Ciebie zrobić: prowadzenie bloga firmowego.
