Cloudflare bot koruması nasıl aşılır?

partypete

Hectopat
Katılım
12 Aralık 2020
Mesajlar
116
Daha fazla  
Cinsiyet
Erkek
Arkadaşlar CSS ile veri almaya çalıştığım sitede bot koruması var. Önce jsoup ile girmeyi denedim doğrudan bağlantı engellenmiş. Selenium kullanmayı denedim Chrome webdriver doğrudan engellenmiş. Geckodriver ile bot korumasına tıklayarak geçmeyi başardım ancak bunu sürekli el ile yapmak gerekiyor. Bu sırada user agent ve proxy ile girmeyi de denedim başarılı olmadı. Java'da seçenekler tükendi. Python açtım Selenium ile birlikte "undetected_chromedriver" kullanmayı denedim olmadı. Navigator bilgisini değiştim yine olmadı. "undetected_chromedriver gecko" driver ile birlikte çalışmıyor maalesef. Sadece chromedriver ile çalışıyor. Yardımcı olabilecek varsa sevinirim.
 
Son düzenleyen: Moderatör:
Arkadaşlar CSS ile veri almaya çalıştığım sitede bot koruması var. Önce jsoup ile girmeyi denedim doğrudan bağlantı engellenmiş. Selenium kullanmayı denedim Chrome webdriver doğrudan engellenmiş. Geckodriver ile bot korumasına tıklayarak geçmeyi başardım ancak bunu sürekli el ile yapmak gerekiyor. Bu sırada user agent ve proxy ile girmeyi de denedim başarılı olmadı. Java'da seçenekler tükendi. Python açtım Selenium ile birlikte "undetected_chromedriver" kullanmayı denedim olmadı. Navigator bilgisini değiştim yine olmadı. "undetected_chromedriver gecko" driver ile birlikte çalışmıyor maalesef. Sadece chromedriver ile çalışıyor. Yardımcı olabilecek varsa sevinirim.
CloudFlare'yi aşmak Captacha'lara göre çok zor. Benim kendi yöntemim Selenium ile sayfayı açtıktan sonra open CV ile doğrulama butonunun koordinatını buluyorum pyautogui ile fareye captachanın anlamayacağı hareketlerle butona tıklatıyorum. Captacha doğrulamasını geçmek için ayrı bir araştırma gerekiyor :) Şaka maka bu yöntem 6 7 ay önce yapmıştım. Şuan çalışıyor mu bakmak lazım. Buradaki ana sorun bot çalışırken bilgisayarda sekmenin gözükmesi yani arka planda bir işlem yapmıyor.
 
CloudFlare'yi aşmak Captacha'lara göre çok zor. Benim kendi yöntemim Selenium ile sayfayı açtıktan sonra open CV ile doğrulama butonunun koordinatını buluyorum pyautogui ile fareye captachanın anlamayacağı hareketlerle butona tıklatıyorum. Captacha doğrulamasını geçmek için ayrı bir araştırma gerekiyor :) Şaka maka bu yöntem 6 7 ay önce yapmıştım. Şuan çalışıyor mu bakmak lazım. Buradaki ana sorun bot çalışırken bilgisayarda sekmenin gözükmesi yani arka planda bir işlem yapmıyor.
İyi bir yöntem tavsiye için teşekkürler. Ancak dediğin gibi burada bir fare hareketi yapıyorsak pencereyi gizlemek mümkün değil. Farklı kütüphanelere bakıyorum ama undetected_chromedriver'a alternatif bulamadım


Nasıl bir belaya bulaştığımı şimdi fark ettim. Binlerce farklı yöntem denenmiş. CloudFlare üzerinden atlayıp doğrudan sitenin ip adresine ulaşmaya ve bağlanmaya çalışmışlar falan. Bazı başarılı metodlar da zamanla fixlenmiş. Resmen cloudflare'a savaş açılmış ve savaş hala sürüyor. Ben de sanıyorum ki çok akıllıyım sitelerden verileri otomasyonla toplayacağım böylece harcadığım vakitten inanılmaz tasarruf edeceğim. Site trafiği de beni bekliyordu gel abi 24 saat gez buralarda diye. Malesef ki niyetiniz kötü olmasa da bunu anlatmanın bir yolu yok.
 
Son düzenleme:
İyi bir yöntem tavsiye için teşekkürler. Ancak dediğin gibi burada bir fare hareketi yapıyorsak pencereyi gizlemek mümkün değil. Farklı kütüphanelere bakıyorum ama undetected_chromedriver'a alternatif bulamadım


Nasıl bir belaya bulaştığımı şimdi fark ettim. Binlerce farklı yöntem denenmiş. CloudFlare üzerinden atlayıp doğrudan sitenin ip adresine ulaşmaya ve bağlanmaya çalışmışlar falan. Bazı başarılı metodlar da zamanla fixlenmiş. Resmen cloudflare'a savaş açılmış ve savaş hala sürüyor. Ben de sanıyorum ki çok akıllıyım sitelerden verileri otomasyonla toplayacağım böylece harcadığım vakitten inanılmaz tasarruf edeceğim. Site trafiği de beni bekliyordu gel abi 24 saat gez buralarda diye. Malesef ki niyetiniz kötü olmasa da bunu anlatmanın bir yolu yok.
Bu yüzden zaten çoğu site CloudFlare kullanıyor hocam. Bot saldırıları için inanılmaz güvenliği var. Dediğim yöntem zaten bot sayılmaz biz ne yapıyorsak bot da aynısını yapıyor. Üstelik bot olduğu için captacha'ya takılıyor. Maalesef CloudFlareyi aşmanın kolay bir yolu yok. Tek yolu Selenium ve fare hareketleri ile biz ne yapıyorsak aynısını programa yaptırmak ama CloudFlare'nin kullandığı captacha algılamalara karşı çok güçlü. Bildiğimiz resim basmalı olanlardan değil.
 
Bu konu için özel üretilmiş API'lar buldum.
Bir örnek: Oxylabs - Premium Proxy Service to Gather Data at Scale
Bunlar özel ve ücretli API'lar. Smart Proxyler üretiyorlar. Herkese açık paylaşılmadığı için kullanılan yöntemleri CloudFlare'ın fark edip fixlemesi çok daha uzun sürüyor. Ödenebilir ücretler fakat projelerimiz geliştirme aşamasındayken bize öğrenecek bir alan pek bırakmıyor. Ayrıca bazı siteler Türkiye dışındaki bağlantıları doğrudan engellemiş olabiliyor. Bunun için tabi extra ücretli satışlar yapıyorlar.
 

Yeni konular

Geri
Yukarı