API Olmayan Siteden Kod Çekilebilinir mi?

Merhaba iyi günler API desteği bulunmayan sitelerin kodlarına ulaşılabilinir mi?

Örneğin;

Bu sitedeki "Fiber Nerede"nin kodlarını almak için ne yapabilirim?

Bot yazıp çekebilirsiniz, kullanıcıya yansıtılan verileri çeker.

EKAloji dedi:

Bot yazıp çekebilirsiniz, kullanıcıya yansıtılan verileri çeker.

Genişletmek için tıkla...

Botu hangi dilde yazabilirim ya da hazır bir bot var mı?

E1Rhan dedi:

Botu hangi dilde yaza bilirim yada hazır bir bot var mı ?

Genişletmek için tıkla...

Kullanmayı bilirseniz JS ile de yazarsınız C# ile de, sanmam ama olabilir; araştırın.

E1Rhan dedi:

Botu hangi dilde yazabilirim ya da hazır bir bot var mı?

Genişletmek için tıkla...

Her dil ile yazabilirsin. Bu tür şeyler için kolaylık açısından Python öneriliyor genelde.

Python kullanabileceğiniz ve öğrenebileceğiniz en basit dil. Python'dan sonra beatifulsoup, request ve urllib kütüphanelerini öğrenirseniz rahatça verileri çekebilirsiniz.

E1Rhan dedi:

Merhaba iyi günler API desteği bulunmayan sitelerin kodlarına ulaşılabilinir mi?

Örneğin;

Evde İnternet Kampanyaları ve Paketleri > Bireysel > Türk Telekom

Türk Telekom'un ayrıcalıklı dünyasına katılmak ister misin? Türk Telekom evde internet kampanyaları, paketleri ve fiyatları için hemen tıkla!

bireysel.turktelekom.com.tr

Bu sitedeki "Fiber Nerede"nin kodlarını almak için ne yapabilirim?

Genişletmek için tıkla...

JSON veya XML üzerinden haberleşen bir servis varsa ve veritabanı buraya bağlı ise ufak bir bot yardımı ile çekebilirsiniz. Python veya PHP kullanabilirsiniz bu iş için daha kolaydır.

Fakat sitenin tamamını kopyalamak istiyorsanız yine benzer şekilde siteyi klonlayan botlar mevcut ya da scriptler mevcut.

Ancak şöyle bir durum var istediğiniz veriler kullanıcılara kapalı olan verilere erişmek ise sıkıntı yaşayabilirsiniz, yani hukuken bu tip şeyler yasal değil orada bir güvenlik önlemi olup aşarsanız başınıza dert alabilirsiniz nasıl derseniz?

Bu tip şeyler için sistelerde ufak scriptler firewall'a log kaydı yollar her bir session için. Bu sessionda bu olay gerçekleşti post, get, put, update, delete gibi HTTP request ve response mesajları halinde loglar tutulur.

Sana bir endpointte veri sunulmadığı sürece hiçbir şey çekemezsin.

Reverse engineering yaparak bilgileri elde edebilirsin.
Böyle bir requst gönderiyor site Wi-Fi yerlerini sorarken.
Sende göndermeyi başarabilirsen istediğin yerin bilgisini elde edebilirsin.

1. Request URL:
   
   https://kapsamaharitasi.turktelekom.com.tr/Main/getResults?longitude=28.967514038085938&latitude=38.39441521865825&CaptchaResponse=03AGdBq25GzJ_omsm4tWfZJKTFdxMmUEt0N0GHj0EwUdDSzAYlT1I8SXUoGHIRtWtBHs_TjCeGSjzgVx30yuUdpzuPrbibJVP4mgF85E-qcndqK__HvAH59Mlbmhoz5kZ6Q0LLitmhgJW7SLOPwAfLGfi4eWQ_p_ykTxSILnvmfQ1MYmGKcWF4dwPUqDeip34tAlLBhZXoFMjFNde9dBj9pb0zqFckdnSol2_DR70HcO7G1wq61My72BEXw5cJUi41H16ZXcOGf8zcPT581qBi4eY2bTMZWP2nZ01Wy2vQhNgpFPxQ7wVWDyBD3bwU0IsFTDQAmvbJs3e14jLRvOUiQ7RHq5aEVgXnSXZ5bTre3MlwkCIrRsZOcAmEb5C1V1zzkayp9WawdBFEqEkl-4CqR3lte3Ev13ZG_2anMeQO6s-UQK5hIpVhifv0hkz4IQu7sx6feHgJeKRaYhqfDRllKf4yWxmh7aJfLA&ticket=2F5A178CB0FB49D2E0530389060A928A&resulttype=cbWQ&bbkcode=0

Dikkat edersen request göndermeden önce bot olup olmadığını kontrol ediyor.
Biraz zor bir iş yani. Saklamaya çalışmışlar özellikle.
Captcharesponse kısmı seni bozabilir.

kubi07 dedi:

Reverse engineering yaparak bilgileri elde edebilirsin.
Böyle bir requst gönderiyor site Wi-Fi yerlerini sorarken.
Sende göndermeyi başarabilirsen istediğin yerin bilgisini elde edebilirsin.

1. Request URL:
   
   https://kapsamaharitasi.turktelekom.com.tr/Main/getResults?longitude=28.967514038085938&latitude=38.39441521865825&CaptchaResponse=03AGdBq25GzJ_omsm4tWfZJKTFdxMmUEt0N0GHj0EwUdDSzAYlT1I8SXUoGHIRtWtBHs_TjCeGSjzgVx30yuUdpzuPrbibJVP4mgF85E-qcndqK__HvAH59Mlbmhoz5kZ6Q0LLitmhgJW7SLOPwAfLGfi4eWQ_p_ykTxSILnvmfQ1MYmGKcWF4dwPUqDeip34tAlLBhZXoFMjFNde9dBj9pb0zqFckdnSol2_DR70HcO7G1wq61My72BEXw5cJUi41H16ZXcOGf8zcPT581qBi4eY2bTMZWP2nZ01Wy2vQhNgpFPxQ7wVWDyBD3bwU0IsFTDQAmvbJs3e14jLRvOUiQ7RHq5aEVgXnSXZ5bTre3MlwkCIrRsZOcAmEb5C1V1zzkayp9WawdBFEqEkl-4CqR3lte3Ev13ZG_2anMeQO6s-UQK5hIpVhifv0hkz4IQu7sx6feHgJeKRaYhqfDRllKf4yWxmh7aJfLA&ticket=2F5A178CB0FB49D2E0530389060A928A&resulttype=cbWQ&bbkcode=0

Dikkat edersen request göndermeden önce bot olup olmadığını kontrol ediyor.
Biraz zor bir iş yani. Saklamaya çalışmışlar özellikle.
CaptchaResponse kısmı seni bozabilir.

Genişletmek için tıkla...

Bir site fikrim vardı da gördüğüme göre veri çekmek zor iş. Site fikrini biraz ertelemeliyim