Вчені можуть виявити ChatGPT у наукових текстах із ймовірністю 99
Впровадження ChatGPT у повсякденне життя є як кроком у цифрове майбутнє, так і серйозною проблемою. Особливо критично стосовно ШІ налаштовані вчені, які намагаються протистояти появі правдоподібної брехні у наукових публікаціях.
Вчені з Канзаського університету під керівництвом хіміка Хізер Дезера опублікували статтю у рецензованому журналі Cell Reports Physical Science. У дослідженні розглядається застосування методів машинного навчання для виявлення відмінностей між академічними текстами, створеними людьми, і матеріалами, згенерованими ChatGPT. Згідно із заявою дослідницької групи, точність їхнього інструменту досягає 99%.
Вчені vs ChatGPT Джерело: https://www.sciencedirect.com
Чим відрізняється текст ШІ від тексту вченого?
Автори статті виділяють двозначність та потенційну небезпеку, пов'язані з функціональністю ChatGPT, а також вказують на можливе застосування цієї технології не лише студентами, а й вченими. У наш час існують інструменти, що дозволяють з високою точністю відрізнити тексти, згенеровані ШІ, від створених людиною. Одним з найвідоміших та найефективніших детекторів вважається RoBERTa.
Він дозволяє правильно визначати авторство у 98+% випадків, проте використовувати його для оцінки академічного листа не рекомендується через недостатню точність. Справа в тому, що RoBERTa і багато інших детекторів застосовуються до загального контенту, але не можуть демонструвати такий самий результат при аналізі вузькоспеціалізованих матеріалів.
У процесі дослідження команда Дезер використала 64 документи, створені людиною, та 128 текстів авторства ChatGPT. На підставі цих навчальних даних вдалося згенерувати 1276 абзаців-взірців. Порівнюючи приклади, дослідники створили чотири категорії функцій для пошуку відмінностей між текстами чат-бота та людини. До них відносяться:
• складність абзацу;
• різноманітність довжини речень;
• використання розділових знаків;
• наявність «популярних» слів.
Дві з чотирьох категорій функцій, що використовуються в моделі, це способи, за допомогою яких ChatGPT створює менш складний контент, ніж люди. Найбільш помітними ознаками була кількість речень в абзаці та загальна кількість слів в абзаці. В обох випадках середні показники ChatGPT були значно нижчими, ніж у вчених-людей, — йдеться у статті.
Дослідники також відзначають помітну різницю у структурі речень. Для вчених-людей властива варіабельна довжина речень та часте використання як дуже довгих (більше 35 слів), так і дуже коротких (менше 10 слів) речень. Тексти, створені ШІ, таких коливань не мають.
Ще один цікавий та важливий момент – особливості написання матеріалів. Дослідження показало, що ChatGPT воліє більш узагальнено подавати інформацію, використовуючи обтічні формулювання (наприклад, дослідники, інші), і віддає перевагу одинарним лапкам. Вчені, на відміну від ChatGPT, активно додають до своїх текстів власні імена, акроніми, числа, назви наукових праць та імена їх авторів, доповнюючи пропозиції різноманітними розділовими знаками — тире, круглими дужками, двокрапками, крапкою з комою і знаком питання.
Вибрані функції продемонстрували точність результату 99,5% під час аналізу абзаців-взірців. Вчені наголошують, що їхня робота була спрямована на створення та перевірку концепції інструменту, а тому її обсяг досить обмежений. Надалі потрібні додаткові дослідження з метою оцінки ефективності моделі та можливості її застосування з метою точного визначення авторства документів.
