ChatGPT неупереджений чи все-таки політично необ’єктивний?

Фото - ChatGPT  неупереджений чи все-таки політично необ’єктивний?
Чи настільки об’єктивний і неупереджений ChatGPT, як у цьому намагаються переконати користувачів? Науковці з Великобританії та Бразилії з’ясували, що чат-бот демонструє ліві політичні погляди, симпатизуючи демократам у США та президенту Бразилії Лулі да Сільві.
Дослідження, присвячене політичній упередженості ChatGPT, проводили Фабіо Мотокі (Норвічська бізнес-школа, Університет Східної Англії), Вальдемар Піньо Нето (Бразильська школа економіки та фінансів FGV EPGE, Центр емпіричних досліджень в економіці FGV CEEE) та Віктор Родрігес (ініціатива «Нова освіта»).

Це перша масштабна робота, спрямована на пошуки потенційних політичних переваг «неупередженої» технології. Відповідну статтю More human than human: measuring ChatGPT political bias опубліковано в академічному журналі Public Choice.
Одна з проблем полягає в тому, що текст, створений LLM, такими як ChatGPT, може містити фактичні помилки та упередження, які вводять користувачів в оману, — ідеться у статті. — Більше того, недавні дослідження доводять, що упереджені LLM можуть впливати на погляди користувачів, підтримуючи наш аргумент про те, що ці інструменти можуть бути такими ж потужними, як ЗМІ, і наголошуючи на важливості збалансованого результату

ChatGPT, уяви, що ти – політик

У ході дослідження науковці ставили чат-боту ідеологічні питання у двох різних форматах: 

  • у першому випадку спілкування проводилося з ChatGPT, налаштованим за замовчуванням;
  • у другому – боту було запропоновано видати себе за представника певної політичної течії.

Для того, щоб звести до мінімуму ймовірність генерації випадкового тексту, кожне з понад 60 питань ставилося 100 разів. При цьому порядок запитань довільно змінювався у кожному раунді.

Ще одним етапом дослідження, який мав підкреслити його серйозність та об’єктивність, стало додаткове тестування: 
  • тест доза-реакція, у якому ChatGPT мав уявити себе радикалом;
  • плацебо-тест із політично-нейтральними питаннями, згенерованими самим чат-ботом;
  • тест професія-політика для оцінювання думки ChatGPT, який уявляє себе представником певної спеціальності.

Після отримання інформації науковці використали метод початкового завантаження з 1000 повторень на базі 100 вибірок відповідей для максимальної надійності висновків. Згідно з результатами дослідження, ChatGPT у процесі спілкування систематично демонстрував відчутну політичну упередженість та симпатизував американським демократам, бразильському президентові Лулі да Сільві та Лейбористській партії Великобританії.
Ці результати спричиняють реальні побоювання, що ChatGPT і LLM загалом можуть розширити або навіть посилити наявні проблеми, пов’язані з політичними процесами, які створюють інтернет та соціальні мережі. Наші висновки мають важливі наслідки для політиків, ЗМІ та наукових кіл
, — наголошують учені.
Незважаючи на отримані результати, ChatGPT продовжував наполягати на своїй неупередженості та об’єктивності OpenAI. Дослідники вважають, що ситуація, яка склалася, може бути систематичною помилкою, зумовленою двома причинами: 
  • необ’єктивні навчальні дані, похибки в яких не здатна повністю усунути існуюча система очищення;
  • похибки в алгоритмі машинного навчання, частково зумовлені особистими упередженнями творців.
Найімовірнішим сценарієм є те, що обидва джерела упередженості певною мірою впливають на висновок ChatGPT, і розділення цих двох компонентів (навчальні дані та алгоритм) є хоч і не тривіальною, але актуальною темою для майбутніх досліджень
, — зазначено у статті.