А не пробовал ли кто-то использовать диффузионые модели в качестве генеративной части GAN? Пускай другая сетка оценивает, что там нагенерировалось, чем нам 50 раз перезапускать генерацию.
Лапка Ёлка за статьюА не пробовал ли кто-то использовать диффузионые модели в качестве генеративной части GAN? Пускай другая сетка оценивает, что там…
Blazar
Лапка Ёлка за статьюА не пробовал ли кто-то использовать диффузионые модели в качестве генеративной части GAN? Пускай другая сетка оценивает, что там…
Blazar, генерацию не перезапускают 50 раз, она постепенно за 50 шагов превращает шум в изображение. Добавление дискриминатора в обучение может только на латентное пространство повлиять, но не факт, что в хорошую сторону
Blazar, генерацию не перезапускают 50 раз, она постепенно за 50 шагов превращает шум в изображение. Добавление дискриминатора в обучение может только…
Жук
Blazar, генерацию не перезапускают 50 раз, она постепенно за 50 шагов превращает шум в изображение. Добавление дискриминатора в обучение может только…
Жук, я имею в виду дообучение после обучения на готовом наборе данных. То есть скармливать дискриминатору уже готовое изображение, после чего, скажем, алгоритм формирования шума менять в зависимости от результатов.
То есть вместо человека, перезапускающего сеть для получения нужного результата, заставить это делать ИИ
Жук, я имею в виду дообучение после обучения на готовом наборе данных. То есть скармливать дискриминатору уже готовое изображение, после чего, скажем…
Blazar
Жук, я имею в виду дообучение после обучения на готовом наборе данных. То есть скармливать дискриминатору уже готовое изображение, после чего, скажем…
Blazar, звучит похоже на то, как прикручивали CLIP. В случае с ганами изображения генерили, пока CLIP не выдаст достаточное соответствие входящему тексту, а в диффузионках на каждой итерации несколько изображений делали, а потом через CLIP гоняли. Можно и дискриминатор сюда подсунуть, но только так долго считать и памяти много потребуется. Всё таки стараются идти к меньшему потреблению видеопамяти и более быстрым генерациям
Комментарии
ЛапкаЁлка за статьюА не пробовал ли кто-то использовать диффузионые модели в качестве генеративной части GAN? Пускай другая сетка оценивает, что там нагенерировалось, чем нам 50 раз перезапускать генерацию.
UPD: нашёл - пробовали
Blazar, генерацию не перезапускают 50 раз, она постепенно за 50 шагов превращает шум в изображение. Добавление дискриминатора в обучение может только на латентное пространство повлиять, но не факт, что в хорошую сторону
Жук, я имею в виду дообучение после обучения на готовом наборе данных. То есть скармливать дискриминатору уже готовое изображение, после чего, скажем, алгоритм формирования шума менять в зависимости от результатов.
То есть вместо человека, перезапускающего сеть для получения нужного результата, заставить это делать ИИ
Blazar, звучит похоже на то, как прикручивали CLIP. В случае с ганами изображения генерили, пока CLIP не выдаст достаточное соответствие входящему тексту, а в диффузионках на каждой итерации несколько изображений делали, а потом через CLIP гоняли.
Можно и дискриминатор сюда подсунуть, но только так долго считать и памяти много потребуется. Всё таки стараются идти к меньшему потреблению видеопамяти и более быстрым генерациям
Лапка вертухой с ноги с разворота! Годный пост!
Отличная статья, спасибо!