Ученые усовершенствовали алгоритм «расселфил» селфи

Разработчики из Бельгии и США представили алгоритм, который превращает селфи в портреты, которые будто сделаны фотографом. Об этос сообщает интернет-издание N+1, ссылаясь на препринт статьи опубликован на arXiv.org.

Система анализирует позу человека на снимке с помощью стороннего алгоритма DensePose, который подбирает наиболее похожую портретную позу и восстанавливает изображение уже с ней.

Двухмерная проекция позы сравнивается с остальными позами в базе данных: с помощью метода k-ближайших соседей алгоритм находит естественную позу, наиболее похожую на изначальную по положению верхней части торса, дорисовывает ее и вставляет в кадр обратно. Для обучения алгоритма исследователи собрали датасет из 23 тысяч портретных фотографий и 4,6 тысячи селфи. 

Алгоритм протестировали среди существующих методов. В результате добровольцы выбирали новый метод восстановления портретов в 79–82 % случаев. Хотя у алгоритма есть некоторые ограничения: он не всегда может подобрать похожую позу, и в таких случаях плечи или руки на портрете получаются слишком узкими.