ZKSwap - Swap and earn tokens at the best rates bu tarz kripto swap sitelerinden tokenların fiyat bilgilerini yazılım aracılığıyla elde etmek istiyorum. Ancak genelde API'ler tam olarak istediğim parametreleri desteklemiyor. Birkaç videoda "network" kısmından sitenin veri çektiği yeri kullanabileceğimiz belirtilmiş. Ben de denemek istedim, ancak kısa aralıklarla sürekli request gönderiliyor. Sanırım site kasıtlı olarak bu tür talepleri engelliyor. Konuyu bilen kişilerin, bu tarz sorunları nasıl aşabileceğim ve veri kazıma konusunda hangi kurs serilerini önerdiklerini öğrenebilir miyim? (kurs önerileriniz İngilizce kaynaklıda olabilir)
Veri kazıma yöntemleri nelerdir?
- Konuyu başlatan UnrestE
- Başlangıç Tarihi
- Mesaj 11
- Görüntüleme 544
ZKSwap - Swap and earn tokens at the best rates bu tarz kripto swap sitelerinden tokenların fiyat bilgilerini yazılım aracılığıyla elde etmek istiyorum. Ancak genelde API'ler tam olarak istediğim parametreleri desteklemiyor. Birkaç videoda "network" kısmından sitenin veri çektiği yeri kullanabileceğimiz belirtilmiş. Ben de denemek istedim, ancak kısa aralıklarla sürekli request gönderiliyor. Sanırım site kasıtlı olarak bu tür talepleri engelliyor. Konuyu bilen kişilerin, bu tarz sorunları nasıl aşabileceğim ve veri kazıma konusunda hangi kurs serilerini önerdiklerini öğrenebilir miyim? (kurs önerileriniz İngilizce kaynaklıda olabilir)
Black Mesa Çalışanı
Hectopat
- Katılım
- 17 Nisan 2021
- Mesajlar
- 484
- Çözümler
- 11
Webscrap veya webscraping yöntemini deneyebilirsiniz.
Python için kütüpganesi aşağıdaki linkte:
İsterseniz diğer Ruby, C#, C++, Java gibi dillerlede deneyebilirsiniz verimliliği sizin kullanımıniza bağlı.
Python için kütüpganesi aşağıdaki linkte:
İsterseniz diğer Ruby, C#, C++, Java gibi dillerlede deneyebilirsiniz verimliliği sizin kullanımıniza bağlı.
Hesaplama işleminin networke bağlı olacağını düşünmüyorum. Amacın nedir?
Amacım örnek veriyorum 20 ETH'nin hem alış hem de satış fiyatını çekmek.(usdc cinsinden) farklı ağlarda mesela solana ağında quote API ile yapabiliyorum bu işlemi ve sitenin network kısmına baktığımda sitenin sunduğu veri aynı API ile geliyor.(bahsettiğim swap sitesi burası Jupiter Aggregator) amacım aynısını daha önce bahsettiğim sitede gerçekleştirmek.
Webscrap veya webscraping yöntemini deneyebilirsiniz.
Python için kütüpganesi aşağıdaki linkte:
İsterseniz diğer Ruby, C#, C++, Java gibi dillerlede deneyebilirsiniz verimliliği sizin kullanımıniza bağlı.
Daha önce denemiştim ama siteler dinamik olduğu için Selenium gibi araçlar kullanmam gerekiyor diye hatırlıyorum. O yüzden tekrar kurcalamamıştım ama bugün tekrar göz atacağım.
Black Mesa Çalışanı
Hectopat
- Katılım
- 17 Nisan 2021
- Mesajlar
- 484
- Çözümler
- 11
Tam olarak ne kurmaya çalıştığını anlamadım ama tahmin ettiğim kadarıyla kendine özel bir web veri tablosu kurmak istiyorsun.
Web scraping ile verileri belirli süre aralıkları ile toplayıp bir veri tabanına aktarabilirsin, 10 saniye 20 saniye de bir gibi. Bu senin işlemcinin gücüne bağlı. Aktardığın veri tabanına özel bir get API ı oluşturup istediğin yerde kullanabilirsin. Yapacağın 3 iş var.
1- veri tabanı organizasyonu.
2- web API oluşturma.
3- web scrap scripti oluşturma.
@UnrestE zkswap sitesi kendine DDoS attırıyor bende. Neyse, site çalışmıyor ki? Ne yapacağız burada?
Eki Görüntüle 1948278
@UnrestE önerim akıl sağlığın açısından bu siteden uzak durmak
Daha tam olarak oturmamış bir kripto ağı o yüzden olsa gerek
düşük birimlerde çalışıyor bende.Benim teknik bilgim o kadar yüksek değil açıkçası. Öğrenmek istiyorum ve nereden başlayacağım hakkında bir bilgim yok. Bunları yapmamı öğretecek güzel bir kurs biliyorsanız önerebilir misiniz?
Black Mesa Çalışanı
Hectopat
- Katılım
- 17 Nisan 2021
- Mesajlar
- 484
- Çözümler
- 11
Şimdi fark ettim Networkten maalesef herhangi bir sitenin API servisleri ile aldığı verilerin nereden geldiğini bilemezsiniz veya bunu görmenize izin vermezler. Çünkü kendileri muhtemelen Back-End sunucusunda işleyip Front-Ende gönderiyorlardır ki sizinde Networkte gördüğünüz şeyler sizin siteye yaptığınız sorgular ve sitenin size verdiği yanıtlardır, yani sitenin ajax ile verileri işlediği script lokasyonundan fazla bir yer elde edemezsiniz.
Hiç mi yolu yok peki?
Black Mesa Çalışanı
Hectopat
- Katılım
- 17 Nisan 2021
- Mesajlar
- 484
- Çözümler
- 11
Güvenlik gereği kimse o tarz bilgileri sana veya bana vermez hiçkimse ile paylaşmazlar, merkeziyetsiz para birimi diyorlar blockchain için ancak bu verilerin dağıldığı bir merkez olması gerekiyor ki heryerde aynı veri olsun. Merkeziyetsiz olsa (Bence) 1 BTC = 1 USD gibi bir durum ile karşılaşmamız lazım. O net bir veri bilgisi için API araştırmalarınıza devam edin muhtemelen GIATA gibi bir firma dağıtıyor olabilir ama kimdir bilmiyorum.
Kursa veya eğitime bağımlı kalmaktansa şu anda yapman gerekenleri küçük parçalara bölüp bu küçük parçaların çözümlerini internette aratıp kendi amacına ve ihtiyacına göre uyarlayıp deneme yanılma yöntemi ile çalışırsan daha çok yol katedersin, diğer türlü en fazla teorik bilgiye sahip olursun millet nasıl yapıyor diye bunalıma girersin.
Aklında bir fikir var ve çözümü kendin bulman lazım, bir fikir verdim Web Scraping dene denemekten zarar gelmez.
Benzer konular
