Как нарисовать картину, если ты нейросеть
1717
Статьи

Как нарисовать картину, если ты нейросеть

30
1717

Комментарии

Лапка Ёлка за статью

А не пробовал ли кто-то использовать диффузионые модели в качестве генеративной части GAN? Пускай другая сетка оценивает, что там нагенерировалось, чем нам 50 раз перезапускать генерацию.

UPD: нашёл - пробовали

Лапка Ёлка за статьюА не пробовал ли кто-то использовать диффузионые модели в качестве генеративной части GAN? Пускай другая сетка оценивает, что там…

Blazar, генерацию не перезапускают 50 раз, она постепенно за 50 шагов превращает шум в изображение. Добавление дискриминатора в обучение может только на латентное пространство повлиять, но не факт, что в хорошую сторону

Blazar, генерацию не перезапускают 50 раз, она постепенно за 50 шагов превращает шум в изображение. Добавление дискриминатора в обучение может только…

Жук, я имею в виду дообучение после обучения на готовом наборе данных. То есть скармливать дискриминатору уже готовое изображение, после чего, скажем, алгоритм формирования шума менять в зависимости от результатов.

То есть вместо человека, перезапускающего сеть для получения нужного результата, заставить это делать ИИ

Жук, я имею в виду дообучение после обучения на готовом наборе данных. То есть скармливать дискриминатору уже готовое изображение, после чего, скажем…

Blazar, звучит похоже на то, как прикручивали CLIP. В случае с ганами изображения генерили, пока CLIP не выдаст достаточное соответствие входящему тексту, а в диффузионках на каждой итерации несколько изображений делали, а потом через CLIP гоняли.
Можно и дискриминатор сюда подсунуть, но только так долго считать и памяти много потребуется. Всё таки стараются идти к меньшему потреблению видеопамяти и более быстрым генерациям

Лапка вертухой с ноги с разворота! Годный пост!

Отличная статья, спасибо!