Yayında hareketli zamanlarda veya çimenlerde, ormanda pikselleşme olması gayet normal. Çoğu izlediğiniz büyük yayıncılar kaliteli yayın yapabilmek için çift bilgisayar kullanıyorlar. Eğer x264 ile yayın yapıyorsanız kalite ayarından mediumu seçmeye çalışın eğer işlemciniz kaldırırsa. İşlemciye çok yük bineceği için oyunlarda FPS düşüşlerine sebep olacaktır. Fast, faster da deneyebilirsiniz. Ne kadar hızlı yaparsanız yayında pikselleşme o kadar artacaktır.
Tabi bu dediklerimin yanında bitrate de önemli. Twitch bildiğim kadarıyla tiksiz yayıncılara maksimum 6000 bitrate yayın yapma hakkı tanıyor. 8 veya daha üstü uploadınız varsa 6000 bit yayın verebilirsiniz. Upload hızlarına göre bitrate ayarı yapmak isteyenler için kendi internetimden örnek ile anlatayım. 3, 6 ve 8 MBPS hızlarında yayın yapmayı denedim. 6 MBPS hızında 5250 bit ile nadiren giren droplarla beraber yayını düzgün yapabildim. (Bu da büyük yayıncılara bile giriyor zaten. Programda 3-4 saatlik yayınlar sonucunda %1 drop bile gözükmüyordu.) 3 ile 2000-2500 arasıydı galiba tam hatırlamıyorum. 8 ile 6000 bit sorunsuz yayın yapabiliyorum.
6000 bit, x264 medium veya RTX kartınız varsa new NVENC kalite ayarında düzgün yayın yapabilirsiniz. Eğer bilgisayar kaldırmazsa programda kodlayıcıya aşırı yüklenildi gibi uyarı verir ve yayında FPS droplar başlar. Böyle durum x264 mediumdayken başınıza geldiyse fast, faster veya yayın 60 FPS ise 30'a düşürmeyi veya 1080P ise 720'ye veya 720P ise 610P, 540P gibi çözünürlüklere düşürmeyi deneyebilirsiniz. NVENC olayını kendim kullanmadığım için bilmiyorum ama onda da kalite yerine ortalama gibi bir ayar illaki vardır. O şekilde kaliteyi düşürmeniz lazım.
1080P yayın yapayım diye zorlamanızı önermiyorum. 1080P x264 fast ayarında yayın yapacağınıza 720P x264 mediumda yayın yapmak bence kalite açısından daha iyi olacaktır.