Çözüldü Stable Diffusion'da training yaparken "half Precision" hatası

@38life GradScaler için bir ayar yok, IPEX kullandığınız zaman IPEX kodunu çalıştırıyor zaten.
Compute Settings ayarlarından "Device precision type" seçeneğini BF16 veya FP32 olarak seçin yeter.

Textual Inversion ile modelin bilmediği bir şey öğretemezsiniz. Textual Inversion, prompt kısmı ile oynuyor.
Modelin bilmediği bir şey öğretebilmek için ya Dreambooth ile direkt modeli eğitmeniz gerek.
Ya da LoRa veya HyperNetworks ile modül eğitmeniz gerek.

Ek olarak datasetiniz de GIGO büyük ihtimal.
Fotoğrafların ne olduğunu yapay zekaya teker teker anlatmak zorundasınız ve fotoğrafların tarzı aynı olmalı.


200 adımdan sonra çıkıt:



1000 adımdan sonra çıkıt:



Datasetten örnek bit .txt dosyası:


Dataset:
Çözünürlük 512x512.




Eğitim ayarları:

@Disty Yani mesela kendi yüzümün fotoğraflarını textual inversion ile tanıtamaz mıyım? Aslında preprocess işlemi yaparak otomatik .txt dosyaları oluşturdum fotoğrafı tarif eden. Sonra da onları düzenleyip arkaplan ile ilgili tanımlamaları çıkardım. Ama geriye kalan tanımlar sadece a man with beard, a man with mustache minvalinde şeylerdi. yani çok da açıklayıcı değil. Fotoğraflar da aynı tarzda değil evet, hepsi farklı yerlerde, farklı açılarda, farklı ışıklarda çekilmiş. Daha önce Google Collab üzerinde Dreambooth ile bu tarz fotoğraflarla başarılı sonuç almıştım.

Benim .txt dosyalarında normal prompt gibi yazıyordu bu arada sendeki gibi ":1.000" ifadeleri yoktu.

@38life Dreambooth direkt modeli eğitiyor ve yüzünüzü öğretiyor.
Textual Inversion ise modeli eğitmez, modelden istediğimiz çıktıyı nasıl alabileceğimizi bulmaya çalışır.
Model sizi tanımıyorsa Textual Inversion yerine HyperNetworks / LoRa veya Dreambooth kullanmalısınız.

:1.000 ifadeleri deepbooru taglerinden otomatik geldi, ben de değiştirme ihtiyacı duymadım.

Edit:
XPU Autocast sorunlu galiba, bozuk görüntü hataları veriyor ve tam da çalışmıyor zaten.
Autocast loss'u bozsa anlarım ama direkt embedding'i siliyor.
Batch size 4'ü geçmeyin.

@Disty Dreambooth ile LORA kullanarak train yapmayı denedim şimdi. "Torch not compiled with CUDA enabled" hatası verdi.

38life dedi:

@Disty Dreambooth ile LORA kullanarak train yapmayı denedim şimdi. "Torch not compiled with CUDA enabled" hatası verdi.

Genişletmek için tıkla...

Onlar faklı eklenti. CUDA için yazıldıklarından çalışmaması normal.
SD WebUI gibi CUDA yerine OneAPI desteğinin eklenmesi gerek.

HyperNetworks ile denedim yine olmadı. Verdiği çıktılar kaynak resimlerle alakasız. Sanki sadece txt dosyasındaki promotları baz alıyor gibi bir hali var. Txt dosyası olmayan kaynak klasörünü gösterdim, o zaman da tamamen alakasız çıktılar verdi. @Disty

Şimdi de sadece noise üretmeye başladı. Bi halt anlamadım bu işten.

@38life
GradScaler'i çalıştırabildim sonunda. Automatic klasörü içinde bu komutu çalıştırın ve WebUI'ı güncelleyip yeniden başlatın:

Disty dedi:

@38life
GradScaler'i çalıştırabildim sonunda. Automatic klasörü içinde bu komutu çalıştırın ve WebUI'ı güncelleyip yeniden başlatın:

Bash:Panoya kopyala

wget https://raw.githubusercontent.com/Disty0/ipex_grad_scaler/main/patch.sh && chmod +x patch.sh && ./patch.sh

Genişletmek için tıkla...

Helal olsun sana. Tebrikler

Diğer yandan ben hala hypernetworks ile istediğim sonucu alamıyorum. Stili anlıyor, yani mesela full siyah tişörtle çekinilmiş fotoğraflardan oluşan br dataset verdiğin zaman yine siyah tişörtlü sonuçlar veriyor hep. Ama fotoğraflardaki yüzü kesinlikle tanıyamıyor, yanından bile geçmiyor hatta. txt dosyalarında a man with beard and mustache yazıyor mesela ve çıktılarda kocaman sakal ve bıyıklar oluyor abartılı şekilde, ama yüzün detayları tamamen alakasız. Kurcalıyorum ayarları, tekrar tekrar deniyorum ama bakalım...

@38life GradScaler ile tekrar deneyin. Ek olarka kaç adım denediniz?
Yeni bir şey öğretiyorsanız eğitmeniz 20.000 adım, yani 4-5 saatten uzun sürer.

Disty dedi:

@38life GradScaler ile tekrar deneyin. Ek olarka kaç adım denediniz?
Yeni bir şey öğretiyorsanız eğitmeniz 20.000 adım, yani 4-5 saatten uzun sürer.

Genişletmek için tıkla...

Önceki mesajda dediklerinizi yaptım. Kodu çalıştırdım güncellemeyi yaptım. BF16 seçili. Onun dışında train ekranında gradscaler ile ilgili bir şey yapmak gerekiyor muydu? Gradient clipping var ama o disabled durumda. Açınca hata veriyor zaten.

3000 adımda deniyorum. Ama zaten automatic/cmd_opts.data_dir/train/log/embeddings klasörü altında çıktıları takip ediyorum. Alakasız şeyler çıkınca stop ediyorum train işlemini.