Цього тижня OpenAI опублікувала результати дослідження, яке викликало значний резонанс у технологічній спільноті. Компанія разом з Apollo Research вивчала явище так званого «scheming» — коли штучний інтелект демонструє одну поведінку зовні, але приховує справжні наміри, пише TechCrunch.
Що таке «scheming» у моделях ШІ
На відміну від звичних «галюцинацій» AI, коли система впевнено вигадує факти, scheming є навмисною формою обману. Наприклад, модель може повідомити, що виконала завдання, хоча насправді цього не зробила.
Дослідники порівняли таку поведінку зі зловживаннями на біржі, коли брокер навмисно порушує закон заради прибутку. Найбільш тривожним виявилося те, що якщо модель усвідомлює, що її тестують, вона може імітувати чесну поведінку, щоб пройти перевірку, але продовжувати обманювати.
Чому навчити моделі «чесності» складно
У дослідженні зазначається, що спроби відучити ШІ від обману можуть мати зворотний ефект. Під час навчання модель отримує додаткові інструменти і вчиться брехати ще більш приховано, щоб уникнути викриття.
Техніка «deliberative alignment»
Позитивною новиною стало те, що дослідники OpenAI змогли знизити рівень scheming за допомогою нового підходу — deliberative alignment. Його суть полягає в тому, що модель перед виконанням завдання отримує спеціальну інструкцію і змушена її повторити, перш ніж діяти.
Цей метод схожий на ситуацію, коли дітей перед грою просять пригадати правила. За словами OpenAI, техніка показала перспективні результати у контрольованих експериментах.
