Fiyat Arama Motoru Ne Şekilde Kodlanmalı?

Boris7503 · 27 Mayıs 2020

Selamlar, spesifik bir ürün üzerine fiyat arama ve karşılaştırma motoru yapmayı planlıyorum.
Tek bir makineden sürekli kontrol etmek, fiyatları güncellemek hem zaman alacaktır hem de makinenin banlanmasına sebep olacaktır.
Projeyi React ile geliştirmeyi planlıyorum, istekleri de clientlerden atacağım haliyle. Bu sayede tek makine olmayacağı için banlanmayacaktır.
e-Ticaret sitelerinde gidip ilgili ürünleri listeleyerek fiyatlarını gösterecek.
Bunun yasal bir sıkıntısı olur mu? Sonuçta onlara request atacağız. Yapan bir sürü yer var (Cimri, Akakçe gibi yerleri kast etmiyorum, onlar devasa olduğu için aralarında API bile vardır belki)
React-Native içine de gömebileceğimizden sıkıntı yaşar mıyız acaba diye düşünüyorum.
Bu sistemin açmazları ve karşılaşabileceğimiz sorunlar ne olabilir? Düşünceleriniz nelerdir?

bitwise · 28 Mayıs 2020

Illegal bir tarafi yok, public sekilde paylasilan datayi cekiyorsun. Bahsettigin siteler botlara karsi onlemler almistir ama onu asmakta sorun yasamazsin. Tek dikkat etmen gereken husus arka arkaya cok fazla istek gondermemek, o durumda yasal olarak onlarin web sitesine saldiri yaptigin iddiasinda bulunabilirler. Turkiye'de oyle granuler bir bilisim hukuku olmadigi icin onu yapsan dahi bir sey elde edemezler bana gore ama hukukcular daha detayli bilir bunu dogal olarak.

Fakat atiyorum saniyede 1 request gonderecek sekilde tasarlarsan publicly available bir datayi istedigin icin hic bir illegal sey yapmamis olursun.

Ben de benzer bir yapiyi uzerinde calistigim projede yaptim, karsilastigim tek sorum API olmamasi sebebiyle HTML parse etmek zorunda kalmak. Ufak tasarim degisiklikleri yaptiklari zaman benim de kodumu ona gore degistirmem gerekiyor ama problem degil, 1-2 saatte en gec hallediliyor.

Yine dikkat edecegin sey, web sitende aldigin dataya kaynak gostermek olabilir. Onu da bir yerlere ilistirirsin. ("Sitemizdeki veriler periyodik olarak X ten alinmaktadir" ) gibi.

Cimri ya da Akakce de ilk kuruldugunda muhtemelen benzer bir yol izlemis olmalilar. Kimse henuz tanimadigi firmaya API acmaz.

Boris7503 · 28 Mayıs 2020

bitwise dedi:
Illegal bir tarafi yok, public sekilde paylasilan datayi cekiyorsun. Bahsettigin siteler botlara karsi onlemler almistir ama onu asmakta sorun yasamazsin. Tek dikkat etmen gereken husus arka arkaya cok fazla istek gondermemek, o durumda yasal olarak onlarin web sitesine saldiri yaptigin iddiasinda bulunabilirler. Turkiye'de oyle granuler bir bilisim hukuku olmadigi icin onu yapsan dahi bir sey elde edemezler bana gore ama hukukcular daha detayli bilir bunu dogal olarak.

Fakat atiyorum saniyede 1 request gonderecek sekilde tasarlarsan publicly available bir datayi istedigin icin hic bir illegal sey yapmamis olursun.

Ben de benzer bir yapiyi uzerinde calistigim projede yaptim, karsilastigim tek sorum API olmamasi sebebiyle HTML parse etmek zorunda kalmak. Ufak tasarim degisiklikleri yaptiklari zaman benim de kodumu ona gore degistirmem gerekiyor ama problem degil, 1-2 saatte en gec hallediliyor.

Yine dikkat edecegin sey, web sitende aldigin dataya kaynak gostermek olabilir. Onu da bir yerlere ilistirirsin. ("Sitemizdeki veriler periyodik olarak X ten alinmaktadir" ) gibi.

Cimri ya da Akakce de ilk kuruldugunda muhtemelen benzer bir yol izlemis olmalilar. Kimse henuz tanimadigi firmaya API acmaz.

Tek sistemden yonetme olayini yapmayacagim hocam.
Uygulamayi her indiren kisi bir urun aradiginda o urunun request i uygulamayi indirenin telefonundan gidecek. Server ile pek isim yok, belki analitik veri tutmak icin kullanirim.
Her aramada 5-7 siteden sorgulasa. Arama sonrasi urunu sectiginde de 1 request atsa.
Arama islemine gore 2-3 request falan atilir max. Laf yapmazlar herhalde.
Reklam falan koyup gelir getirme durmu da olabilir, o yuzden endise ettim biraz.

bitwise · 28 Mayıs 2020

Boris7503 dedi:
Tek sistemden yonetme olayini yapmayacagim hocam.
Uygulamayi her indiren kisi bir urun aradiginda o urunun request i uygulamayi indirenin telefonundan gidecek. Server ile pek isim yok, belki analitik veri tutmak icin kullanirim.
Her aramada 5-7 siteden sorgulasa. Arama sonrasi urunu sectiginde de 1 request atsa.
Arama islemine gore 2-3 request falan atilir max. Laf yapmazlar herhalde.
Reklam falan koyup gelir getirme durmu da olabilir, o yuzden endise ettim biraz.

Buna IP block koyamazlar, direkt mobil IP den gelecek istek. Baska birinin sundugu veri uzerinden maddi gelir elde ediyorsun, fakat sonucta ortaya koydugun veri zaten herkesce erisime acik, dedigim gibi kaynak da belirtirsen bir yerlerde legal sorun cikacagini sanmiyorum.

Bence yavas olacaktir ama, 5-7 siteden sorgulama olayi, paralel yapsan bile hem mobil internet agir hem de mobil islemciler o kadar guclu degil. Ben olsam backend yazip orada gunluk tum verileri ceker, her aramaya sip diye cevap veren bir yapi kurardim. Ama burada mimari yapiyi degil hukuki durumu tartisiyoruz, bence sorun olmaz : )

codelab · 28 Mayıs 2020

Bu tür işler bu şekilde olmaz adamlarla iletişime geçip xml dosyalarına erişim izni alıcaksın gerisi basit , request işlemi ile yapacam dediğin anda 1000 kişi için aynı anda bir web sitesinden ürün fiyatı iste bakalım nasıl bi sisteme ihtiyacın olacak o zaman anlarsın.Kişinin kendisi yapmasını istiyorsan o iş de öyle kolay değil request yapmak için aynı domain isteyecek senden şu anki browserlar , he bunun aşma yolları var ama kullanıcılara bu eklentileri demi kurun diyeceksin.

Fiyat Arama Motoru Ne Şekilde Kodlanmalı?

Ayrıntılı düzenleme

Boris7503

Kilopat

bitwise

Megapat

Boris7503

Kilopat

bitwise

Megapat

codelab

Centipat

Benzer konular

Yeni konular

Yeni mesajlar

Gizliliğinize önem veriyoruz