Нове дослідження вчених зі Стенфордського університету підтвердило думку, яку вже кілька тижнів висловлюють користувачі Інтернету: ChatGPT Plus, створений на базі GPT-4, дійсно став менш інтелектуальним, на відміну від GPT-3.5, який використовується в безкоштовній версії чат-бота.
У своїй роботі вчені порівнювали відповіді чат-бота, який працює на базі GPT-4 та GPT-3.5, на різні запити. Вони виявили, що поведінка чат-бота та точність відповідей на деякі запити в новій версії значно погіршились.
Учені аналізували мовні моделі GPT-4 та GPT-3.5, які були випущені у березні та січні відповідно. Вони виявили, що за цей час точність GPT-4 суттєво знизилась, тоді як у GPT-3.5, навпаки, покращилась.
Наприклад, точність відповіді на питання, чи є 17077 простим числом, впала на 95,2% – тоді як у GPT-3.5 вона, навпаки, зросла з 7,4% до 86,8%. Також знизилась ймовірність успішного виконання коду, написаного нейромережею, в актуальних версіях обох моделей.
Раніше віце-президент OpenAI Пітер Веліндер вже відповідав на звинувачення користувачів ChatGPT Plus:
“Ні, ми не зробили GPT-4 глупішим. Ми робимо кожну нову версію розумнішою за попередню. Зараз у нас є така гіпотеза: коли ви активніше використовуєте щось, ви починаєте помічати проблеми, яких раніше не бачили“.
У відповідь на цей твіт Веліндер попросив надати докази того, що чат-бот став працювати гірше. Дослідження від стенфордських вчених з’явилося через 5 днів після цього – і відповідь від OpenAI поки що не наступила.
Це вже не перший раз, коли GPT-4 звинувачують у наданні неправдивої інформації. У березні аналітики NewsGuard виявили, що ChatGPT, заснований на GPT-4, легше можна навчити говорити неправду – тоді як сама OpenAI говорить про збільшення точності відповідей на 40% у порівнянні з GPT-3.5. Зокрема, у тестах NewsGuard нова версія нейромережі рідше спростовувала недостовірні відомості – включаючи неправдиві дані про сучасні події та теорії змови.
