«Жидкая» нейросеть от MIT

В конце января команда ученых под руководством Рамина Хасани из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) MIT представила в своем блоге новый тип «жидкой» нейронной сети. Разработчики утверждают, что ее преимущество в более быстрой адаптации к меняющимся условиям.

Новая нейронная сеть обошла собратьев в точности предсказаний, какие действия нужно предпринять при определенном наборе данных. При этом количество ее элементов (узлов) меньше классического и на вычисления затрачивается меньше мощностей.

Нейросеть назвали «жидкой», так как она предназначена для работы с последовательностью данных и способна менять выработанные во время обучения паттерны, что позволяет ей быстро адаптироваться к новым условиям.

— Такие сети применяют, например для переводов текста (последовательность слов) или управления беспилотным транспортом — система будет работать с последовательностью данных от датчиков и камер автомобиля.

научный сотрудник Лаборатории машинного обучения Университета ИТМО,
к.т.н. Алексей Забашта

Искусственная нейронная сеть — математическая модель и ее физическое воплощение, имитирующая поведение биологических нейронных структур. При классическом построении она «жестко» фиксируется, выстраивая алгоритмы на основе большого массива данных (пререквизитов) и пояснений разработчика, что есть «правильно», а что «нет» — откликов. Такая схема обучения делает нейросети уязвимыми к непредвиденным данным или шумам — эту проблему и решили ученые CSAIL.

— У «жидких» нейросетей есть скрытое состояние, которое они обновляют на основе текущих данных и параметров. Именно оно позволяет выдавать различные выходные значения при одинаковых входных. Авторы статьи реализовали нейросеть в виде модуля для двух популярных библиотек глубокого обучения: TensorFlow и PyTorch. Поэтому процесс ее обучения не будет отличаться от классического, так как эту задачу решает сама библиотека, а не отдельные модули.

Алексей Забашта

Ведущий автор исследования Рамин Хассани утверждает, что «жидкая» нейронная сеть улучшит автоматизированную обработку естественных языков, видеоматериалов и другой изменяющейся во времени информации. Также разработка может пригодиться в области автономного транспорта и медицинской диагностики. Например, попавший в снежную бурю беспилотник быстро откорректирует скорость и стиль движения и траекторию и высоту полета.