Sahibinden üzerinden veri çekip kategorilere ayırmak mümkün mü?

efss · 19 Ocak 2025

Arkadaşlar merhaba ben emlak işine başladım, çalıştığım yer uzun senelerdir her sabah sahibindene girip bölgemizdeki yeni ilanları Excel üzerine belirli kategorilerle girip kayıt ediyor.
Ama bir saat oturup bununla uğraşmak bana açıkçası çok saçma geldi, yani okuldaki hocanın tahtaya yazı yazıp bunu deftere geçiriceksiniz demesiyle aynı.
Benim merak ettiğim şey bu işlemi bir botla veya yazılımla otomatik olarak yapmam mümkün mü?

MidI0ck · 19 Ocak 2025

efss dedi:
Arkadaşlar merhaba ben emlak işine başladım, çalıştığım yer uzun senelerdir her sabah sahibindene girip bölgemizdeki yeni ilanları Excel üzerine belirli kategorilerle girip kayıt ediyor.
Ama bir saat oturup bununla uğraşmak bana açıkçası çok saçma geldi, yani okuldaki hocanın tahtaya yazı yazıp bunu deftere geçiriceksiniz demesiyle aynı.
Benim merak ettiğim şey bu işlemi bir botla veya yazılımla otomatik olarak yapmam mümkün mü?

Evet mümkün. Python,BS4,Pandas ile yapabilirsiniz. Web Scraping diye geçer.

HTML okuyup,anlayabiliyor olmanız gerekli ayrıca.

efss · 19 Ocak 2025

MidI0ck dedi:
Evet mümkün. Python, BS4, pandas ile yapabilirsiniz. Web scraping diye geçer.

HTML okuyup, anlayabiliyor olmanız gerekli ayrıca.

Şu an için HTML okuyup anlayamıyorum, açıkçası bu iş için öğrenmeme değmez gibi bu işi bir profesyonele yaptırmak istesem nereden bulurum ve ne kadara mal olur bir fikriniz var mı?

özgün deniz · 20 Ocak 2025

Sahibinden'in anti bot sistemi biraz ağır ki şirket de bu işlere çok sert bir politika uyguluyor. Bu yüzden dümdüz BS4 tarzı bir kütüphane kullanıp çekemiyorsunuz. Ancak yine de bunu mümkün kılan bazı hazır yazılımlar var. GitHub - omkarcloud/botasaurus: The All in One Framework to build Awesome Scrapers.

BayEgo · 20 Ocak 2025

Yapılmak istenilen işlem sırası ile;.

Konunuzdan örnek verelim, sarı siteye girdiniz ve istediğiniz ilana eriştiniz ve not aldınız. Sitede en fazla üç veya dört sayfa açtınız ve o kadar istekte bulundunuz. Bir bota bu işi yaptırmak için siteden en az onlarca belki de yüzlerce istekte bulunacak. Sitenin akıcılığını bozacak. Siz dilediğiniz listenize ulaşırken site amacına uygun olmayan ve gereksiz şekilde ağırlaştıran bir botla uğraşacak.
Siteye girdiğinizde size özel bir isim atanır ve google analitikte veya yandex metrikada nereye tıkladığınız kaç saniye hangi sayfada beklediğiniz gibi bilgiler site sahibi ile paylaşılır. Bu bilgiler site sahibi için google veya yandex arama motorunda özellikle (organik) sıralamasında önemli bir rol oynar. Bu sıralamaya botlar ile zarar verirsiniz.

gibi etkileri olur. Bu durum sarı site yöneticilerinin hoşuna gitmez ve sizin işinizi kolaylaştıracak bu yazılımı engellemeye çalışacaklardır. Tabi bu benim sarı sitenin web masterlarının makul bir seviyede (en azından benim kadar bilgili olup) bu durumun farkına varabilecek kapasitede olduklarını varsaydığım ortamda geçerli. Bu pozisyondaki arkadaşın işini umursamaz olma olasılığı da bulunuyor.

Benim beklediğimin aksine bu SEO ajanslarının düşük trafik alan e-ticaret sitelerine eklediği botlar gibi katkı sağlayabilir ve de sarı sitenin trafiğini ve etkileşimini arttırabilir. Ama denemeden bilemeyiz. Sarı sitenin alt yapısının sağlam olduğunu ve bir bottan gelecek onlarca isteğin rahatça karşılanacağını düşünüyorum. Fakat botunuzu farklı emlakçılar ile paylaşır (satar) ve sitenin kapasitesini zorlarsanız programınız ile siteniz arasında bir entegrasyon kurulması gerekebilir; pazaryerleri ile akakce benzeri.

Eğer bu entegrasyonu sarı site ile anlaşıp kurabilirseniz TR'deki tüm emlakçılara bu programı satabilirsiniz de.

Biraz uzun oldu ama endişelerimi ve nasıl geliştirilebileceğinizi belirtmek istedim.

özgün deniz · 20 Ocak 2025

BayEgo dedi:
Konunuzdan örnek verelim, sarı siteye girdiniz ve istediğiniz ilana eriştiniz ve not aldınız. Sitede en fazla üç veya dört sayfa açtınız ve o kadar istekte bulundunuz. Bir bota bu işi yaptırmak için siteden en az onlarca belki de yüzlerce istekte bulunacak. Sitenin akıcılığını bozacak. Siz dilediğiniz listenize ulaşırken site amacına uygun olmayan ve gereksiz şekilde ağırlaştıran bir botla uğraşacak.

Tek bot hiçbir şey. Bu olasılık olası değil.

MidI0ck · 20 Ocak 2025

@RaSGooL
Hocam sizin düşünceniz nedir?

RaSGooL · 20 Ocak 2025

Öncelikle etiket için teşekkür ederim.
Sorunumuz sahibinden den web scrapping yapmak değil, veri almak. Arkadaşın sorunu manuel yaptığı işi otomatize etmek.
O zaman en kolay yolu yazarsın bir chrome extension. Sayfa yüklenir otomatik scrap eder. En azından 1 saat ayırmazsın, 1 dakika basarsın butona olur biter. Bu sayede yok botmuş yok bilmem neymiş falan o dertten kurtulursun. Sonra siteyi desktop a chrome kısayol olarak eklersin (üc nokta > cast save and share > Create Shortcut). Basınca direkt istediğin link açılır (Filtreleme yapmış olduğun linki al). Artık senin görmek istediğin ilanlar direkt açılmış olacak. Ve veriyi almış olacaksın.

Veriyi aldıktan sonra excel dosyasına kaydetme yapması lazım.
Bunun için node.js ile basit bir api hazırlayabilirsin. Extension dan direkt api request atarsın.
Excel düzenleme için benim kullandığım;

GitHub - SheetJS/sheetjs: 📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs

📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs - SheetJS/sheetjs

github.com

Yada excel online ise direkt kullandığın ana provider kimse onun api tarafı muhakkak vardır. Oraya bakarsın.
Mesela google sheet ise;

Method: spreadsheets.values.append | Google Sheets | Google for Developers

developers.google.com

Buraya direkt istek atarsın. Client tarafında işi bitirirsin.

Tüm her şey den sonra basit bir bat dosyası hazırlayıp bunu windows startup veya service kısmına ekleyebilirsin. Yada task schedule ile de olabilir. Bu sayede senin bile kısayolu açmana gerek kalmadan otomatik halledecek. Chrome exe parametre olarak --headless verirsin. Ekranda gözükmeden çalışır hale getirirsin.
Zaten kendi bilgisayarında olacağı için sen bot musun diye bakmayacak bile. (Cookieleri silme yeterli.)

Teknik bilgin yokmuş. O halde webmaster forumları ve bionluk gibi freelance sitelerden biri ile anlaşabilirsin.
Biraz iş uzun ve hata olması yüksek ihtimal. Yaklaşık 3-8 saat aralığında sürebilir. Benim pek fazla zamanım yok. Olsa zevkine bile yapabilirdim. Belki forumdan arkadaş vardır yapacak. Olmadı freelancer birini tutarsın 3 5 bir şey atarsın.

MidI0ck · 20 Ocak 2025

RaSGooL dedi:
Öncelikle etiket için teşekkür ederim.
Sorunumuz sahibinden den web scrapping yapmak değil, veri almak. Arkadaşın sorunu manuel yaptığı işi otomatize etmek.
O zaman en kolay yolu yazarsın bir chrome extension. Sayfa yüklenir otomatik scrap eder. En azından 1 saat ayırmazsın, 1 dakika basarsın butona olur biter. Bu sayede yok botmuş yok bilmem neymiş falan o dertten kurtulursun. Sonra siteyi desktop a chrome kısayol olarak eklersin (üc nokta > cast save and share > Create Shortcut). Basınca direkt istediğin link açılır (Filtreleme yapmış olduğun linki al). Artık senin görmek istediğin ilanlar direkt açılmış olacak. Ve veriyi almış olacaksın.

Veriyi aldıktan sonra excel dosyasına kaydetme yapması lazım.
Bunun için node.js ile basit bir api hazırlayabilirsin. Extension dan direkt api request atarsın.
Excel düzenleme için benim kullandığım;

GitHub - SheetJS/sheetjs: 📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs

📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs - SheetJS/sheetjs

github.com

Yada excel online ise direkt kullandığın ana provider kimse onun api tarafı muhakkak vardır. Oraya bakarsın.
Mesela google sheet ise;

Method: spreadsheets.values.append | Google Sheets | Google for Developers

developers.google.com

Buraya direkt istek atarsın. Client tarafında işi bitirirsin.

Tüm her şey den sonra basit bir bat dosyası hazırlayıp bunu windows startup veya service kısmına ekleyebilirsin. Yada task schedule ile de olabilir. Bu sayede senin bile kısayolu açmana gerek kalmadan otomatik halledecek. Chrome exe parametre olarak --headless verirsin. Ekranda gözükmeden çalışır hale getirirsin.
Zaten kendi bilgisayarında olacağı için sen bot musun diye bakmayacak bile. (Cookieleri silme yeterli.)

Teknik bilgin yokmuş. O halde webmaster forumları ve bionluk gibi freelance sitelerden biri ile anlaşabilirsin.
Biraz iş uzun ve hata olması yüksek ihtimal. Yaklaşık 3-8 saat aralığında sürebilir. Benim pek fazla zamanım yok. Olsa zevkine bile yapabilirdim. Belki forumdan arkadaş vardır yapacak. Olmadı freelancer birini tutarsın 3 5 bir şey atarsın.

Hocam benimde bir iki sorum oldu. Extension'u yazmak ve dataları çekmek için hangi teknolojiyi kullanacak? Ayrıca Image toplaması da gerekecektir diye, düşünüyorum.

RaSGooL · 20 Ocak 2025

MidI0ck dedi:
Hocam benimde bir iki sorum oldu. Extension'u yazmak ve dataları çekmek için hangi teknolojiyi kullanacak? Ayrıca Image toplaması da gerekecektir diye, düşünüyorum.

Extension JavaScript ile yazılıyor. Data çekmek için normal document.querySelector'den devam. Sanki script eklenmiş gibi düşün web sayfasına.

Image içinde aynı mantıkta querySelector ile alır. URL den download edebilir. Yada extension yaparken getHar ile network kısmından giden gelen tüm requestleri alır. Sonra oradan direkt response değere ulaşabilir. Da buna gerek kalmadan url alıp direkt download etmek daha mantıklı.

Sahibinden üzerinden veri çekip kategorilere ayırmak mümkün mü?

Ayrıntılı düzenleme

efss

Centipat

MidI0ck

Megapat

efss

Centipat

özgün deniz

Megapat

BayEgo

Megapat

özgün deniz

Megapat

MidI0ck

Megapat

RaSGooL

Kilopat

GitHub - SheetJS/sheetjs: 📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs

Method: spreadsheets.values.append | Google Sheets | Google for Developers

MidI0ck

Megapat

GitHub - SheetJS/sheetjs: 📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs

Method: spreadsheets.values.append | Google Sheets | Google for Developers

RaSGooL

Kilopat

Benzer konular

Bu konuyu görüntüleyen kullanıcılar

Technopat Haberler

Yeni konular

Yeni mesajlar

Gizliliğinize önem veriyoruz