Южнокорейская группа исследователей во главе с профессором Ю Хой-Джуном, работающим в Корейском передовом институте науки и технологий, недавно завершила разработку чипа на основе искусственного интеллекта, который может преобразовывать 2D-изображения в полностью редактируемые 3D-модели с очень низким энергопотреблением и высокой производительностью.
Новый процессор нейронного рендеринга известен как MetaVRain и его можно легко интегрировать в портативное устройство размером со смартфон. По сути, он направлен на упрощение процессов превращения объектов и людей реального мира в трехмерные аватары для Метавселенной.
В результате этого упрощения затраты на создание 3D-рендеринга могут быть существенно снижены, поскольку автоматизированное обучение ИИ избавляет от громоздкого ручного редактирования 3D с помощью специализированных пакетов, таких как Blender.
Требования к видеопамяти также могут быть снижены до 180 раз. Таким образом, процессы захвата и рендеринга становятся такими же простыми, как создание нескольких изображений и загрузка их в интеллектуальное приложение. После преобразования 2D-материала в легко редактируемую 3D-модель интеллектуальное приложение может затем применять текстуры, предварительно обученные для определенных художественных стилей, таких как Пикассо или Ван Гог.
Чтобы устранить первоначальную неэффективность процессов рендеринга с помощью ИИ, команда исследователей внедрила алгоритм, имитирующий человеческое визуальное познание. Так же, как люди, которые сначала воспринимают очертания объекта, а затем составляют всю форму, чип MetaVRain сначала очерчивает формы с помощью вокселей с низким разрешением, а затем применяет ранее визуализированные структуры для увеличения скорости вычислений.
Захват изображения осуществляется с помощью очень продвинутого датчика CMOS, а процесс рендеринга выполняется как минимум в 911 раз быстрее по сравнению с современными потребительскими графическими процессорами. Демонстрационное видео показывает, что MetaVRain может отображать модель со скоростью 32,8 кадра в секунду, в то время как графический процессор RTX 2080 обрабатывает только менее 3% кадра за одну секунду. Превосходные скорости еще больше снижают энергопотребление для одного визуализируемого кадра в 26 400 раз (133 мВт) по сравнению с потребительскими графическими процессорами. Такие спецификации позволяют выполнять рендеринг в реальном времени для приложений VR/AR, используя только смартфон.
В то время как разработки ИИ в настоящее время затмевают все, что связано с Метавселенной, профессор Ю Хой-Джун и его команда считают, что чипы на основе ИИ, такие как MetaVRain, могут в конечном итоге ускорить ее появление.
Иван Ковалев
VIA
Технологичные реалии послужили основой для формирования современного ландшафта кибер-угроз. Типичный портрет жертвы -
