Как нейросети галлюцинируют?
Шесть пальцев на руке, человеческие зубы у котенка, появление цифровых призраков при расшифровке голосовых сообщений, цитирование выдуманных законодательных актов — все это популярные иллюзии достоверности от диффузионных моделей. Разберемся, в чем причины феномена и умеет ли искусственный интеллект врать.
«За субтитры спасибо Алексею Дубровскому!» —
фраза, которая звучит безобидно в любом контексте, кроме расшифровки личного диалога с подругой. Конечно, никакой Алексей не прописывал для вас субтитры, а эта благодарность — не что иное, как цифровой призрак интернета.
Дело в том, что для голосовых сообщений в ChatGPT, для транскрибации аудио в Telegram*, для автоматических субтитров в Zoom используется нейросеть Open AI Whisper, которая и виновна в создании подобных глюков. Whisper училась на миллионах часов аудио из интернета, впитывала видео с подписями авторов субтитров, запоминала паттерны, а теперь везде вставляет знакомые фразы. Так, таинственный Алексей Дубровский не единственный, кого благодарят: в расшифровках орудует целая банда цифровых призраков.
Более того, по результатам исследований Краковского университета, Open AI Whisper умеет расшифровывать текст даже там, где его нет. В качестве эксперимента ученые подавали на вход модели неречевые сигналы — любые звуки, не содержащие человеческий голос, например лай собак, звук шагов или звон посуды. Выяснилось, что в 40 % случаев модель уверенно генерировала осмысленные английские фразы, будто их кто-то произнес. Самыми частыми галлюцинациями стали предложения «Спасибо за просмотр», «Всем привет и добро пожаловать на мой канал!», а также «Субтитры произведены amara.org community».
Откуда руки растут?
Моделям до сих пор непросто понимать, как устроен человек, поэтому будет честно простить им неестественные позы, кривые зубы, неточное количество пальцев и зрачки в разные стороны на сгенерированных картинках. Иногда страдают не только люди: появляются бессмысленные надписи, объекты, конкурирующие с законами физики и природы, несуществующие буквы и цифры. Специалисты по машинному обучению на конференции Data Fusion рассказали о трудностях в обучении диффузионных моделей.
Главным механизмом, вызывающим галлюцинации, является интерполяция между модами данных — самыми часто встречающимися, типичными объектами, которые модель видела при обучении. К таким модам, например, относятся изображения кулака и открытой ладони. Диффузионная нейросеть сглаживает резкие границы между этими состояниями и пытается изобразить оба предмета одновременно, получая согнуто-разомкнутый кулак или странную шестипалую конечность.
Рисует Анна Лески
Усложнением становится нехватка данных при обучении моделей: если нейросеть видела мало изображений некоторого предмета, то вокруг него создается «зона неопределенности» и искусственному интеллекту приходится дорисовывать детали по аналогии.
Также важно понимать, что при обучении диффузией к изображениям добавляется шум, после чего нейросети приходится восстанавливать из него исходную картинку. Кстати, процесс построения нейроаудио аналогичен: генеративная модель осваивает, как из хаоса извлекать ритмы, мелодии, тембры, постепенно превращая их в треки, которые можно слушать. После того как нейросеть научится восстанавливать звук или изображение из случайного набора нот и пикселей, она создает свои объекты, аналогично начиная с шума. И если на этом этапе модель попадает в зону «между кулаком и ладонью», она может галлюцинировать, создавая объекты причудливой формы.
Как бороться?
Помочь в решении проблемы может постобработка: с помощью графических редакторов, таких как Photoshop или GIMP, можно обрезать изображения, удалить артефакты, настроить яркость, контрастность, добавить недостающие элементы.
Для улучшения качества генерируемой картинки советуют работать с запросами: четко и понятно описывать идею, уточняя необходимые детали, увеличивать количество шагов генерации, добавлять параметры стиля, а в нейросетях типа Midjorney можно использовать команду /describe, которая после загрузки реальной фотографии подскажет, как описать нужное изображение.
* Мессенджер заблокирован на территории РФ.
Фото на обложке: unsplash.com
