Sahibinden üzerinden veri çekip kategorilere ayırmak mümkün mü?

efss dedi:

Arkadaşlar merhaba ben emlak işine başladım, çalıştığım yer uzun senelerdir her sabah sahibindene girip bölgemizdeki yeni ilanları Excel üzerine belirli kategorilerle girip kayıt ediyor.
Ama bir saat oturup bununla uğraşmak bana açıkçası çok saçma geldi, yani okuldaki hocanın tahtaya yazı yazıp bunu deftere geçiriceksiniz demesiyle aynı.
Benim merak ettiğim şey bu işlemi bir botla veya yazılımla otomatik olarak yapmam mümkün mü?

Genişletmek için tıkla...

MidI0ck dedi:

Evet mümkün. Python, BS4, pandas ile yapabilirsiniz. Web scraping diye geçer.

HTML okuyup, anlayabiliyor olmanız gerekli ayrıca.

Genişletmek için tıkla...

• Konunuzdan örnek verelim, sarı siteye girdiniz ve istediğiniz ilana eriştiniz ve not aldınız. Sitede en fazla üç veya dört sayfa açtınız ve o kadar istekte bulundunuz. Bir bota bu işi yaptırmak için siteden en az onlarca belki de yüzlerce istekte bulunacak. Sitenin akıcılığını bozacak. Siz dilediğiniz listenize ulaşırken site amacına uygun olmayan ve gereksiz şekilde ağırlaştıran bir botla uğraşacak.
• Siteye girdiğinizde size özel bir isim atanır ve google analitikte veya yandex metrikada nereye tıkladığınız kaç saniye hangi sayfada beklediğiniz gibi bilgiler site sahibi ile paylaşılır. Bu bilgiler site sahibi için google veya yandex arama motorunda özellikle (organik) sıralamasında önemli bir rol oynar. Bu sıralamaya botlar ile zarar verirsiniz.

BayEgo dedi:

Konunuzdan örnek verelim, sarı siteye girdiniz ve istediğiniz ilana eriştiniz ve not aldınız. Sitede en fazla üç veya dört sayfa açtınız ve o kadar istekte bulundunuz. Bir bota bu işi yaptırmak için siteden en az onlarca belki de yüzlerce istekte bulunacak. Sitenin akıcılığını bozacak. Siz dilediğiniz listenize ulaşırken site amacına uygun olmayan ve gereksiz şekilde ağırlaştıran bir botla uğraşacak.

Genişletmek için tıkla...

RaSGooL dedi:

Öncelikle etiket için teşekkür ederim.
Sorunumuz sahibinden den web scrapping yapmak değil, veri almak. Arkadaşın sorunu manuel yaptığı işi otomatize etmek.
O zaman en kolay yolu yazarsın bir chrome extension. Sayfa yüklenir otomatik scrap eder. En azından 1 saat ayırmazsın, 1 dakika basarsın butona olur biter. Bu sayede yok botmuş yok bilmem neymiş falan o dertten kurtulursun. Sonra siteyi desktop a chrome kısayol olarak eklersin (üc nokta > cast save and share > Create Shortcut). Basınca direkt istediğin link açılır (Filtreleme yapmış olduğun linki al). Artık senin görmek istediğin ilanlar direkt açılmış olacak. Ve veriyi almış olacaksın.

Veriyi aldıktan sonra excel dosyasına kaydetme yapması lazım.
Bunun için node.js ile basit bir api hazırlayabilirsin. Extension dan direkt api request atarsın.
Excel düzenleme için benim kullandığım;

GitHub - SheetJS/sheetjs: 📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs

📗 SheetJS Spreadsheet Data Toolkit -- New home https://git.sheetjs.com/SheetJS/sheetjs - SheetJS/sheetjs

github.com

Yada excel online ise direkt kullandığın ana provider kimse onun api tarafı muhakkak vardır. Oraya bakarsın.
Mesela google sheet ise;

Method: spreadsheets.values.append | Google Sheets | Google for Developers

developers.google.com

Buraya direkt istek atarsın. Client tarafında işi bitirirsin.

Tüm her şey den sonra basit bir bat dosyası hazırlayıp bunu windows startup veya service kısmına ekleyebilirsin. Yada task schedule ile de olabilir. Bu sayede senin bile kısayolu açmana gerek kalmadan otomatik halledecek. Chrome exe parametre olarak --headless verirsin. Ekranda gözükmeden çalışır hale getirirsin.
Zaten kendi bilgisayarında olacağı için sen bot musun diye bakmayacak bile. (Cookieleri silme yeterli.)

Teknik bilgin yokmuş. O halde webmaster forumları ve bionluk gibi freelance sitelerden biri ile anlaşabilirsin.
Biraz iş uzun ve hata olması yüksek ihtimal. Yaklaşık 3-8 saat aralığında sürebilir. Benim pek fazla zamanım yok. Olsa zevkine bile yapabilirdim. Belki forumdan arkadaş vardır yapacak. Olmadı freelancer birini tutarsın 3 5 bir şey atarsın.

Genişletmek için tıkla...

MidI0ck dedi:

Hocam benimde bir iki sorum oldu. Extension'u yazmak ve dataları çekmek için hangi teknolojiyi kullanacak? Ayrıca Image toplaması da gerekecektir diye, düşünüyorum.

Genişletmek için tıkla...