Штучний інтелект перевершує людей у шахах, математиці та дедалі частіше — у програмуванні, рекламі й навіть психотерапії. Однак нове дослідження показало, що є одна сфера, де люди залишаються непереможними: інтернетні суперечки.
Вчені з Університету Цюриха, Амстердаму, Дьюка та Нью-Йоркського університету виявили, що навіть найсучасніші LLM-моделі (великі мовні моделі) поки що не здатні достовірно імітувати характерну людську емоційність і «токсичність» у соціальних мережах, повідомляє PCMag з посиланням на дослідження.
Як проводилося дослідження
Команда протестувала дев’ять відкритих моделей з шести різних сімейств — Apertus, DeepSeek, Gemma, Llama, Mistral та Qwen, а також одну велику версію Llama. Для аналізу обрали три соціальні платформи: Bluesky, Reddit та X.
Результати показали, що штучно згенеровані пости легко відрізнити від людських із точністю 70–80%, що значно вище випадкового рівня. Головною ознакою, за словами вчених, стала менша токсичність AI-відповідей у порівнянні з реальними коментарями користувачів.
AI занадто ввічливий — і це його проблема
Алгоритми виявилися більш ефективними у відтворенні технічних параметрів тексту — довжини речень, словникової структури чи частоти використання емоційних слів. Водночас вони практично не здатні передати сарказм, агресію або іронію, характерні для живої дискусії.
Згідно з дослідженням, рівень токсичності в AI-коментарях значно нижчий, ніж у людських, особливо на платформах Reddit і Bluesky. Найкраще моделі справлялися з імітацією стилю користувачів X, тоді як Reddit виявився найскладнішим через більш різноманітні норми спілкування.
Чому деякі моделі кращі за інші
Цікаво, що моделі без інструкційного донавчання — такі як Llama-3.1-8B, Mistral-7B та Apertus-8B — показали кращі результати, ніж ті, що були “налаштовані” людьми.
Дослідники припускають, що процес етичного спілкування робить текст надто передбачуваним і машинним, зменшуючи природність і варіативність висловлювань.
