Женские трусики, Но всё, что я написал, верно на текущий день. Развивается всё быстро, не помню, что бы какие-то новые техники не открывались реже раза в неделю. Постоянно исследуются новые пути оптимизации. Когда я вкатывался в генерации, даже что-то простое можно было генерировать минимум на 6 гигах памяти, а сейчас можно даже на 2 гигах.
Хотя тренировки вряд ли опустятся ниже 4х, ибо это стандартный размер SD 1.x-базированных моделей.
Для референса, SD 1.х линейка моделей относительно очень компактная, всего 860 миллионов параметров. Дальше будет только больше. Языковые модели уходят в миллиарды, некоторые в сотни миллиардов, и хостятся только на кластерах. SD 2.x уже весит 5 гигов, имеет не сильно больше параметров, около 869 миллионов что ли, не помню.
Нужно смотреть, если кто-то найдёт способ тренировать только несколько слоёв одновременно, в зависимости от лимита памяти, хотя... Вроде бы это и есть техника тренировки Дримбута на менее чем 24 гигах, сливая крупную часть данных в оперативную память... Сложно сказать, как скоро появится более жёсткая оптимизация.
Но для конкретно тренировки моделей, именно с нуля, базы, оптимизаций не видел. Да и не под силу это всё-таки для личного пользования, по крайней мере моделей на уровне SD. Там же тренировки на миллиардах картинок идут.
Женские трусики, Быть богатым, очевидно. Для плебсов как мы такое не по силам. Там требуется более 30 гигов памяти видеокарты, что не доступно на консумерских, максимум 24 на 3090/4090.
Нам доступен только максимум файн-тюн уже тренированных моделей. И тот, в зависимости от типа тренировки только для обладателей 3080+. ЛОРА можно тренировать на 6 гигах(но это не точно), но лучше 8. Но я не могу сказать, насколько это эффективно для крупного изменения модели. Я максимум делал на 620 картинках, это относительно очень небольшой файн-тюн, который многому не научит, использовал для улучшения общего качества генераций. Про Дримбут не скажу, так как это случай, где нужно хотя бы 10 гигов, которых у меня нет. Но людям ЛОРА вроде заходит больше, но появилась она недавно, поэтому прямо разницу пока назвать трудно.
Можно сильно изменять генерацию с помощью надстройки в виде гиперсетей, но саму модель это не тренирует. Эмбеддинги позволяют создать знание о чём-то конкретном через тренировку инверсии, но это так же не меняет модель, а позволяет добавлять новые токены, но отдельно от модели, хоть и работать они будут лучше всего с той, на которой тренированы.
Ни одна из вышеперечисленных тренировок не работает на 4 гигах. 6 это самый минимум, и тот, только для эмбеддингов и, возможно, ЛОРА, но это не реалистично проводить крупную тренировку на медленных и слабых видеокартах.
issey, У амуде вроде просто нет аналога CUDA ядер и всякой экспериментальной фигни, которая ускоряет вычисления ИИ. Соответственно и оптимизировать под них нечего. Хотя вроде в 7000 какие-то такие блоки завозят, но, один хер, если обновляться, то уж на нвиде. Да и сколько времени ещё пройдёт, пока напишут что-то стабильное, если у них появится своя фишка для ускорения ИИ.
Жук, Та хз, думаю, если пользователь захочет с чем-то ещё поиграться, то он более-менее знает, что делает, я хотя бы надеюсь на это, и мои гайды ему будут ни к чему. Всё-таки здесь для обычного народа, мы знать не знаем как играться с питоном, ну разве что со своим xD
Жук, Ну про питон я поправил, ставим только рекомендуемую. Боюсь пользователю придётся научиться искать ответ на проблему на гитхабе в любом случае, если пользователь захочет что-то кроме базового интерфейса xD
Отдельная среда, ну это же будет сложнее, чем просто поставить так, правильно же? Я хотел сделать самый простой, что бы большинство не подумало "да ну нахер с этим ебаться", поэтому за базу взял популярный гайд от Волди, который имеет такие вот шаги. Раньше было по другому, но я не программист, разницу не пойму. Ставил с помощью анаконды, вроде что-то такое создавалось, типа отдельная среда вроде, но я не разбираюсь.
За картинки - это я догадывался, но думаю сам понимаешь, у меня оно уже стоит, а устанавливать заново эти гигабайты питона ради картинок такая себе идея. е_е
Эх, Винда ¯\_(ツ)_/¯
Спасибо за фидбэк. Если буду писать гайды по расширениям - там будут картинки, для них не трудно сделать :D
Установка и запуск Stable Diffusion веб-интерфейса под Виндой | Краткий Гайд
Зиро Хатт, А мне наверное стоит достать из комода GT 430 с двумя гигами и на ней потестить?
Установка и запуск Stable Diffusion веб-интерфейса под Виндой | Краткий Гайд
Зиро Хатт, Пиздец...
Гайд по правильному промпт-крафтингу универсальных стилей для Stable Diffusion + промпт + арты в конце
Женские трусики, Но всё, что я написал, верно на текущий день. Развивается всё быстро, не помню, что бы какие-то новые техники не открывались реже раза в неделю. Постоянно исследуются новые пути оптимизации.
Когда я вкатывался в генерации, даже что-то простое можно было генерировать минимум на 6 гигах памяти, а сейчас можно даже на 2 гигах.
Хотя тренировки вряд ли опустятся ниже 4х, ибо это стандартный размер SD 1.x-базированных моделей.
Для референса, SD 1.х линейка моделей относительно очень компактная, всего 860 миллионов параметров. Дальше будет только больше. Языковые модели уходят в миллиарды, некоторые в сотни миллиардов, и хостятся только на кластерах.
SD 2.x уже весит 5 гигов, имеет не сильно больше параметров, около 869 миллионов что ли, не помню.
Нужно смотреть, если кто-то найдёт способ тренировать только несколько слоёв одновременно, в зависимости от лимита памяти, хотя... Вроде бы это и есть техника тренировки Дримбута на менее чем 24 гигах, сливая крупную часть данных в оперативную память... Сложно сказать, как скоро появится более жёсткая оптимизация.
Но для конкретно тренировки моделей, именно с нуля, базы, оптимизаций не видел. Да и не под силу это всё-таки для личного пользования, по крайней мере моделей на уровне SD. Там же тренировки на миллиардах картинок идут.
Гайд по правильному промпт-крафтингу универсальных стилей для Stable Diffusion + промпт + арты в конце
Женские трусики, Быть богатым, очевидно. Для плебсов как мы такое не по силам. Там требуется более 30 гигов памяти видеокарты, что не доступно на консумерских, максимум 24 на 3090/4090.
Нам доступен только максимум файн-тюн уже тренированных моделей. И тот, в зависимости от типа тренировки только для обладателей 3080+.
ЛОРА можно тренировать на 6 гигах(но это не точно), но лучше 8. Но я не могу сказать, насколько это эффективно для крупного изменения модели. Я максимум делал на 620 картинках, это относительно очень небольшой файн-тюн, который многому не научит, использовал для улучшения общего качества генераций.
Про Дримбут не скажу, так как это случай, где нужно хотя бы 10 гигов, которых у меня нет. Но людям ЛОРА вроде заходит больше, но появилась она недавно, поэтому прямо разницу пока назвать трудно.
Можно сильно изменять генерацию с помощью надстройки в виде гиперсетей, но саму модель это не тренирует.
Эмбеддинги позволяют создать знание о чём-то конкретном через тренировку инверсии, но это так же не меняет модель, а позволяет добавлять новые токены, но отдельно от модели, хоть и работать они будут лучше всего с той, на которой тренированы.
Ни одна из вышеперечисленных тренировок не работает на 4 гигах. 6 это самый минимум, и тот, только для эмбеддингов и, возможно, ЛОРА, но это не реалистично проводить крупную тренировку на медленных и слабых видеокартах.
Гайд по правильному промпт-крафтингу универсальных стилей для Stable Diffusion + промпт + арты в конце
Софт, Женские трусики, было бы о чём писать там в общем-то. Вот все нужные теги, на которых были тренированы аниме модели.
https://danbooru.donmai.us/wiki_pages/tag_groups
Установка и запуск Stable Diffusion веб-интерфейса под Виндой | Краткий Гайд
issey, У амуде вроде просто нет аналога CUDA ядер и всякой экспериментальной фигни, которая ускоряет вычисления ИИ. Соответственно и оптимизировать под них нечего. Хотя вроде в 7000 какие-то такие блоки завозят, но, один хер, если обновляться, то уж на нвиде. Да и сколько времени ещё пройдёт, пока напишут что-то стабильное, если у них появится своя фишка для ускорения ИИ.
Гайд по правильному промпт-крафтингу универсальных стилей для Stable Diffusion + промпт + арты в конце
Kufos, Кек
Установка и запуск Stable Diffusion веб-интерфейса под Виндой | Краткий Гайд
Жук, Та хз, думаю, если пользователь захочет с чем-то ещё поиграться, то он более-менее знает, что делает, я хотя бы надеюсь на это, и мои гайды ему будут ни к чему. Всё-таки здесь для обычного народа, мы знать не знаем как играться с питоном, ну разве что со своим xD
Установка и запуск Stable Diffusion веб-интерфейса под Виндой | Краткий Гайд
issey, Да есть он, только толку, амуде это боль...
Установка и запуск Stable Diffusion веб-интерфейса под Виндой | Краткий Гайд
Жук, Ну про питон я поправил, ставим только рекомендуемую. Боюсь пользователю придётся научиться искать ответ на проблему на гитхабе в любом случае, если пользователь захочет что-то кроме базового интерфейса xD
Отдельная среда, ну это же будет сложнее, чем просто поставить так, правильно же? Я хотел сделать самый простой, что бы большинство не подумало "да ну нахер с этим ебаться", поэтому за базу взял популярный гайд от Волди, который имеет такие вот шаги. Раньше было по другому, но я не программист, разницу не пойму. Ставил с помощью анаконды, вроде что-то такое создавалось, типа отдельная среда вроде, но я не разбираюсь.
За картинки - это я догадывался, но думаю сам понимаешь, у меня оно уже стоит, а устанавливать заново эти гигабайты питона ради картинок такая себе идея. е_е
Эх, Винда ¯\_(ツ)_/¯
Спасибо за фидбэк. Если буду писать гайды по расширениям - там будут картинки, для них не трудно сделать :D