Аниме, японское искусство анимации, включает в себя нарисованные от руки эскизы в абстрактной форме с уникальными характеристиками и преувеличениями реальных сюжетов. В то время как генеративный искусственный интеллект (ИИ) нашел применение в создании контента, такого как портреты аниме, его использование для расширения творческого потенциала человека и руководства рисунками от руки оказывается сложной задачей.
Основная задача заключается в создании подходящих эталонных изображений, соответствующих незавершенным и абстрактным штрихам, выполненным в процессе рисования от руки. Это особенно верно, когда штрихи, созданные в процессе рисования, являются неполными и предоставляют недостаточно информации для генерирующего искусственного интеллекта, чтобы предсказать окончательную форму рисунка.
Чтобы решить эту проблему, исследовательская группа из Японского института передовых наук и технологий (JAIST) и Университета Васэда в Японии попыталась разработать новый инструмент генеративного искусственного интеллекта, который предлагает прогрессивную помощь в рисовании и помогает создавать портреты аниме из набросков от руки.
Инструмент основан на платформе глубокого обучения sketch-to-image (S2I), которая сопоставляет необработанные эскизы со скрытыми векторами порождающей модели. В нем используется двухэтапная стратегия обучения с помощью предварительно обученной сети Style Generative Adversarial Network (StyleGAN) – современной генеративной модели, которая использует состязательные сети для создания новых изображений.
Команда, возглавляемая доктором Чжэнью Хуангом из JAIST, включая доцента Хаорана Се и профессора Казунори Мияту, а также лектора Цукасу Фукусато из Университета Васэда, предложила новую стратегию “распутывания на уровне штрихов”, которая связывает вводимые штрихи эскиза от руки с атрибутами, связанными с краями, в скрытом структурном коде эскиза. Стайлеган.
Такой подход позволяет пользователям манипулировать параметрами атрибутов, тем самым получая большую автономию в отношении свойств генерируемых изображений. Доктор Хуан говорит: “Мы внедрили неконтролируемую стратегию обучения разборчивости на уровне штрихов в StyleGAN, которая позволяет автоматически сопоставлять грубые наброски с редкими штрихами с соответствующими локальными частями в портретах аниме, и все это без необходимости в семантических ярлыках.”
Это исследование будет представлено на ACM SIGGRAPH 2023, главной конференции по компьютерной графике и интерактивным технологиям и единственной конференции с рейтингом A* в области исследований по всему миру.
Что касается разработки этого инструмента, проф. Се добавляет: “Сначала мы обучили кодировщик изображений, используя предварительно обученную модель StyleGAN в качестве обучающего кодировщика. На втором этапе мы смоделировали процесс рисования сгенерированных изображений без дополнительных данных, чтобы обучить кодировщик эскизов для неполных прогрессивных эскизов. Это помогло нам создать высококачественные портретные изображения, которые соответствуют запутанным представлениям teacher encoder”.
Чтобы еще больше подчеркнуть эффективность и удобство использования AniFaceDrawing для помощи пользователям в создании портретов аниме, команда провела исследование пользователей. Они пригласили 15 аспирантов нарисовать цифровые портреты в стиле аниме от руки с помощью инструмента AniFaceDrawing с возможностью переключения между режимами грубой и детальной прорисовки линий.
В то время как первый предоставлял подсказки для определенных частей лица, второй предоставлял подсказки для портрета в полный рост, основанные на прогрессе рисования пользователем. Участники могли закрепить сгенерированное руководство, как только оно соответствовало их ожиданиям, и дополнительно доработать свой исходный набросок. Этот инструмент также позволил участникам выбрать эталонное изображение для создания цветного портрета их входного эскиза. Затем они оценили инструмент на предмет удовлетворенности пользователей и соответствия рекомендациям с помощью опроса.
Команда отметила, что система неизменно обеспечивала высококачественное распознавание лиц и эффективно поддерживала создание портретов в стиле аниме, не только улучшая пользовательские эскизы, но и генерируя желаемые соответствующие цветные изображения. Профессор Фукусато отмечает: “Наша система могла бы успешно преобразовать грубые наброски пользователя в высококачественные аниме-портреты. Исследование пользователей показало, что даже новички могут делать разумные наброски с помощью системы и в итоге получать высококачественные цветные художественные рисунки”.
“Наш фреймворк generative AI позволяет пользователям, независимо от их уровня квалификации и опыта, создавать профессиональные портреты аниме даже из незавершенных рисунков. Наш подход неизменно приводит к получению высококачественных результатов генерации изображений на протяжении всего процесса создания, независимо от порядка рисования или того, насколько плохи первоначальные эскизы”, – резюмирует проф. Мията.
В долгосрочной перспективе эти результаты могут помочь демократизировать технологию искусственного интеллекта и помогать пользователям в решении творческих задач, тем самым увеличивая их творческий потенциал без технологических барьеров.
