Grupa badaczy odnotowała sukcesy w zastosowaniu nowego wyspecjalizowanego klasyfikatora zdolnego do identyfikowania artykułów akademickich generowanych przez sztuczną inteligencję z imponującą dokładnością.
Narzędzie do uczenia maszynowego, opracowane przez zespół naukowców z wielu uniwersytetów, wyróżnia się na tle innych klasyfikatorów tym, że opiera się na stylach pisania, a nie na przewidywalnych wzorcach tekstu. Według raportu Nature zespół badawczy przeszkolił narzędzie do wykrywania sztucznej inteligencji na podstawie ponad 100 opublikowanych wstępów z 10 wiodących czasopism chemicznych, których celem było reprezentowanie tekstu generowanego przez człowieka.
Według Heather Desaire, jednej z badaczek biorących udział w projekcie, decyzja o wykorzystaniu wstępów z artykułów akademickich była łatwym wyborem, biorąc pod uwagę łatwość generowania przez narzędzia sztucznej inteligencji wstępów po zapoznaniu się z literaturą.
Po wdrożeniu do identyfikacji tekstu wygenerowanego przez sztuczną inteligencję badacze zauważyli 100% dokładność w wykrywaniu tekstów generowanych przez ChatGPT-3.5 OpenAI. Narzędzie odnotowało ten sam wskaźnik skuteczności w wykrywaniu tekstów generowanych przez sztuczną inteligencję pochodzących z ChatGPT-4 w porównaniu z innymi klasyfikatorami w ekosystemie.
„Z kolei detektor AI ZeroGPT zidentyfikował wstępy napisane przez AI z dokładnością zaledwie około 35–65%, w zależności od używanej wersji ChatGPT i tego, czy wprowadzenie zostało wygenerowane na podstawie tytułu, czy streszczenia artykułu” – czytamy raport.
Badacze twierdzili, że jeden z klasyfikatorów wydany przez OpenAI odnotował dokładność na poziomie 10–55% w identyfikowaniu w artykułach naukowych tekstu wygenerowanego przez sztuczną inteligencję, powołując się na poleganie na predykcyjnych wzorcach tekstu jako potencjalną przyczynę błędów. Pomimo skupienia się na artykułach z chemii, nowy detektor AI odnotował niespotykaną dotąd dokładność w identyfikowaniu prac generowanych przez AI z innych dziedzin akademickich.
„Większość dziedzin zajmujących się analizą tekstu potrzebuje naprawdę ogólnego detektora, który będzie działał na wszystkim” – powiedział Desaire. „Naprawdę zależało nam na dokładności”.
Jednak narzędzie to nie jest w stanie zidentyfikować tekstu wygenerowanego przez sztuczną inteligencję poza sferą akademicką, a w przypadku artykułów prasowych uzyskuje słabe wyniki. Naukowcy zauważyli, że nieefektywność klasyfikatora poza badaniami akademickimi wynika z jego specjalistycznego przeszkolenia w zakresie artykułów w czasopismach naukowych.
Łatwe do stworzenia, trudne do wykrycia
Ponieważ twórcy sztucznej inteligencji ścigają się w opracowywaniu zaawansowanych modeli generatywnych, stworzenie rozróżnienia między rozwiązaniami generowanymi przez człowieka i generowanymi przez sztuczną inteligencję stało się trudnym zadaniem. OpenAI zostało zmuszone do zamknięcia swojego narzędzia do wykrywania sztucznej inteligencji ze względu na obawy związane z niską dokładnością, a firma szczegółowo opisała plany nowego klasyfikatora.
„Pracujemy nad uwzględnieniem opinii i obecnie badamy bardziej skuteczne techniki pochodzenia tekstu, a także zobowiązaliśmy się do opracowania i wdrożenia mechanizmów, które pozwolą użytkownikom zrozumieć, czy treść audio czy wizualna jest generowana przez sztuczną inteligencję” – stwierdził OpenAI w oświadczeniu.
Eksperci rozważali możliwość wykorzystania technologii blockchain jako sposobu identyfikacji treści generowanych przez sztuczną inteligencję, podczas gdy inne firmy technologiczne badają możliwości zastosowania „niewidzialnego znaku wodnego” jako sposobu oznaczania treści AI.
Obejrzyj: AI, ChatGPT i Blockchain
Autor : BitcoinSV.pl
Źródło : New ChatGPT detector spots AI-generated papers with 100% accuracy, research finds – CoinGeek
