Python ile veri çekerek görselleştirme nasıl yapılır?

closed.selim

closed.selim

Centipat
Katılım
17 Ekim 2024
Mesajlar
1.761
Makaleler
1
Çözümler
1
Yer
26°14'53"N 71°16'23"W
Daha fazla  
Sistem Özellikleri
HP Victus 16 | RTX 4050 6GB, 16GB ram, 1TB ssd, İ5 14. nesil
Cinsiyet
Erkek
Meslek
Öğrenci
Herkese selamlar. Proje için veri görselleştirme seçtim. Sosyal proje niteliği taşısın istediğim için kadın cinayetlerinin yıllara göre artışını görselleştirmek istiyorum. İnce uzun mumlar halinde anitsayac adlı siteden sürekli veri çekerek yıllara göre dağılımını görselleştirmek istiyorum. Nasıl yapabilirim? Direkt olmasa da benzer şekilde bir proje yapan video var mı? Veya site vs.
 
Merhabalar iyi günler diliyorum. Fikrin için de seni tebrik ediyorum. Beautiful Soup/Selenium aracılığıyla Web Kazıma yapmayı biliyor musun? Çünkü bir web sitesinden veri elde etme ve bunları işlemenin yazılımsal olarak çetrefilli olduğunu hatırlatmam gerek, tabi işin yasallık boyutu da var. Her web sitesinde kazıma yapamazsınız etik değildir...
 
bitwise dedi:
"WebScraping" kavramini arastirabilirsin.
Genişletmek için tıkla...
Araştıracağım teşekkür ederim.

Marlboro Touch dedi:
Merhabalar iyi günler diliyorum. Fikrin için de seni tebrik ediyorum. Beautiful Soup/Selenium aracılığıyla Web Kazıma yapmayı biliyor musun?
Genişletmek için tıkla...
Çok fazla ilerlemedim hocam. Bir çok şeyi bu yapacağım proje ile öğreneceğim. Kısacası bilmiyorum daha doğrusu. Ayrıca tebriğiniz için teşekkür ederim☺️❤️
 
Tekrardan merhabalar, bahsetmiş olduğun web sitesinin TXT dosyasını incelediğimde herhangi kısıtlama göremiyorum çünkü 404 Hatası alıyorum. Buradan elde edebileceğimiz çıkarımlar oldukça sınırlıdır fakat kendimce siteyi ekstrem seviyede yüke maruz bırakmadan ve temel etik değerlerin dışında çıkmadan yapılabileceğini düşünüyorum ancak kendi adıma konuşmam gerekirse ben riske atmazdım ve yapmazdım. Yine de belirtmemde fayda var yaptığım bu yorumlamalar sadece tavsiye niteliğindedir, Web Sitesi sahibi Web Kazıma işlemiyle ilgili gerekli TXT dosyasını paylaşmadı diye direkt olarak buna müsaade ettiği anlamına gelmemektedir.

AliEgemen dedi:
Web kazima yerine direkt dataset indirip yapmak daha mantikli olmaz mi? Web kazimanin bu konu ozelinde bir avantaji yok gibi geldi.
Genişletmek için tıkla...
Yüksek ihtimalle o yolda ilerlenecek çünkü zaten Web Kazıma öğrenmek minimum 1 aylık bir süreç ve mayın tarlasında gezmekten farksız. Sadece 1-2 web sitesi kullanılacağı için aslında endişelenmeyi gerektiren bir durum yok gibi gözüküyor. Yine de rehavete kapılmamak gerek. Bahsi geçen konuyla ilgili açık kaynağa sunulan bir veri tabanı varsa elbette ki oldukça pratik ve güzel olur.
 
Elbette işinize yarayabilir. Ek olarak dikkat ettiğim kadarıyla pek göremedim: Yoğun veri kazıma işlemlerinde pek çok zaman 403 (Forbidden) hatası ile karşılaşabilirsiniz. Bunun anlamı kısıtlamaya maruz kaldığınızı ve işlem yürütmenizin yasaklandığını gösterir. Bu bağlamda bir sahte "User Agent" tanımlaması yapmanız gerekmektedir. Ardından da satın alacağınız bir Proxy Hizmeti ile bunu desteklemeniz şarttır. İşin bir de Bot Testi yapan sayfaları var, bunun için de "Undetected Chrome Driver" metodunu uygulamak gerekmektedir.

Tekrar belirtmem de fayda var Web Kazıma'sı yapacağınız sayfa bunu istemiyor ve bot testiyle kendisini arındırmak istiyorsa kesinlikle ama kesinlikle o sayfadan faydalanmayı bırakmalı ve yürüttüğünüz tüm işlemlere son verip başka bir sayfa aramalısınız. Hiçbir şekilde etik bir davranış değildir, kabul edilemezdir.
 

Benzer konular

bufalo
COVID-19 Python Görselleştirme
Mesaj
0
Görüntüleme
464
bufalo
bufalo
B
Python  Python'da ML algoritmasında veri görselleştirme yaparken hata veriyor
Mesaj
4
Görüntüleme
219
Bora Eren Erdem
B
Amiral1
  • Çözüldü
Çözüldü  Python ile klasöre veri nasıl kaydedilir?
Mesaj
7
Görüntüleme
1.731
UmutCan01
UmutCan01
Lnosmni
  • Soru
Python ile internetten nasıl veri çekilir?
Mesaj
9
Görüntüleme
3.562
Lnosmni
Lnosmni
Dercsgo
Python'da veri aktarımı nasıl yapılır?
Mesaj
2
Görüntüleme
372
bitwise
bitwise

Technopat Haberler

Yeni konular

Yeni mesajlar

Geri
Yukarı