Web sitesinden her saniye veri çekmek

serseri26

Decapat
Katılım
3 Ocak 2022
Mesajlar
72
Daha fazla  
Cinsiyet
Erkek
Evet arkadaşlar başlıkta da söylediğim gibi bir websitesinden her saniye değişen verileri anlık olarak çekip SQL yazabilir miyim?

Selenium vs demeyin saniyelik çekilmesi gerekiyor.
 
Zamanında çok uğraştım. Nasıl bir veri çekiceğine bağlı. Httpwebrequest ile her saniye veri çekebilirsiniz ama aşırı CPU load olacaktır.
 
Ne verisi çekeceksiniz? Bu konu çok geniş. Siteden çekmek istediğin bilgilere yönlendirilen API'lere bak ve rastgele bir HTTP Client ile kendine çek. Ama önce API-webrequest gib kavramları bilmeniz lazım.
 
Sitenin response time'i saniyeden dusukse tabi cekebilirsin. Ama cok hizli bicimde rate limit'e takilacagini unutma.

Hatta bu site bir api servisi degilse ve saniyelik istek atmaya izin vermiyorlarsa siteye saldirdigini dahi dusunup gecici ip ban atabilirler.



Saniyelik veri almayi gerektiren ne is yapiyorsun? Rest istekleriyle her saniye istek atmayi gerektiricek bir gereksinim hayal edemiyorum. Websocket gibi bir şey kullanma şansın var mı?
 
Ne verisi çekeceksiniz? Bu konu çok geniş. Siteden çekmek istediğin bilgilere yönlendirilen API'lere bak ve rastgele bir HTTP Client ile kendine çek. Ama önce API-webrequest gib kavramları bilmeniz lazım.
Web sitesine tahminince socket kullanılarak anlık borsa bilgileri geliyor. Bu bilgileri web sitesinden anlık olarak çekip veri tabanına yazdırmak istiyorum.

Verileri karşı taraftan bir api kullanıp alamam çünkü sadece izlemeye izin veriliyor.

Web sayfasından verileri anlık olarak izleyebiliyorum.

Bu sayfa gibi : Canlı Borsa | Hisse Fiyatları, Hacim Verileri ve Bist Endeksleri | Mynet Finans
Sitenin response time'i saniyeden dusukse tabi cekebilirsin. Ama cok hizli bicimde rate limit'e takilacagini unutma.

Hatta bu site bir api servisi degilse ve saniyelik istek atmaya izin vermiyorlarsa siteye saldirdigini dahi dusunup gecici ip ban atabilirler.



Saniyelik veri almayi gerektiren ne is yapiyorsun? Rest istekleriyle her saniye istek atmayi gerektiricek bir gereksinim hayal edemiyorum. Websocket gibi bir şey kullanma şansın var mı?
Hocam websocket için karşı tarafın izni gerekmiyor mu ?
1649429638485.png
 
Son düzenleme:

Technopat Haberler

Yeni konular

Yeni mesajlar

Geri
Yukarı