Arkadaşlar merhaba. Bitirme projesi için Sahibinden.net üzerinden emlak verilerini çekeceğim. Manuel veri çekmek oldukça zor ve zaman kaybettirmekte. Örneklem el verirse 384 adet konut verisi çekmem lazım. Fakat her konut içi ayrı parametreler lazım.
Bunlar; oda sayısı, ısıtma sistemi, toplu taşımaya uzaklık, asansör mevcut mu vs. arttıkça konut başı en az 10 parametre çıkıyor. 3840 veya daha fazla veriyi 2 kişi çekeceğiz ve bu da oldukça uğraştıracak.
Bunun yerine Selenium be BS4 kütüphaneleri ile veri çekmek istiyorum lakin sahibinden.net engel koyuyor ve biraz daha zorlarsam IP ban yiyeceğim. API'de elde olmadığı için iş başa düştü. 1 hafta boyunca Selenium kütüphanelerine odaklandım ve henüz sadece siteyi açma seviyesine gelebildim, siteyi açtıktan sonra sekme anında kapanıyor. Diğer sitelerin uzantısını açıyor, Sahibinden'i açmıyor.
Sahibinden'e girmem şart değil ama en çok veri orada var, ek olarak emlakjet.net gibi sitelerden de veri çekebilirim ama önceliğim sahibinden. Yazdığım kod şu şekilde:
Henüz siteyi açma aşamasındayım dediğim gibi, siteyi açtıktan sonra gelen doğrulama ekranını nasıl aşabilirim?
Bunlar; oda sayısı, ısıtma sistemi, toplu taşımaya uzaklık, asansör mevcut mu vs. arttıkça konut başı en az 10 parametre çıkıyor. 3840 veya daha fazla veriyi 2 kişi çekeceğiz ve bu da oldukça uğraştıracak.
Bunun yerine Selenium be BS4 kütüphaneleri ile veri çekmek istiyorum lakin sahibinden.net engel koyuyor ve biraz daha zorlarsam IP ban yiyeceğim. API'de elde olmadığı için iş başa düştü. 1 hafta boyunca Selenium kütüphanelerine odaklandım ve henüz sadece siteyi açma seviyesine gelebildim, siteyi açtıktan sonra sekme anında kapanıyor. Diğer sitelerin uzantısını açıyor, Sahibinden'i açmıyor.
Sahibinden'e girmem şart değil ama en çok veri orada var, ek olarak emlakjet.net gibi sitelerden de veri çekebilirim ama önceliğim sahibinden. Yazdığım kod şu şekilde:
Python:
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
# WebDriver path
driver_path = r"C:\Users\Emre\Desktop\chromedriver-win64\chromedriver.exe"
# Chrome Options (isteğe bağlı)
options = Options()
options.add_argument("--start-maximized") # Tarayıcıyı tam ekran başlatır (isteğe bağlı)
# ChromeDriver'ı başlatmak için Service parametresi
service = Service(driver_path)
# WebDriver'ı başlat
browser = webdriver.Chrome(service=service, options=options)
# Sayfayı aç
browser.get("https://www.sahibinden.com/satilik/samsun-atakum")Henüz siteyi açma aşamasındayım dediğim gibi, siteyi açtıktan sonra gelen doğrulama ekranını nasıl aşabilirim?