Python Dosya yazma işleminde zamanla yavaşlama

kkank · 16 Ekim 2023

İyi Sosyaller;

Selenium ile scrape yapıyorum. Her sayfada kayıt alıp yazıyor, ancak 2-3 bin sayfa sonra ciddi düşüş oluyor hızda. Yeniden başlattığımda rahatlıyor ve yeniden uçuyor. Yeni değişkenler yok, hafızada tutma yok. İşlem sırasında şişme yapıp beni yavaşlatan ne olabilir?

Nizel G · 16 Ekim 2023

Kodunu paylaşman gerekiyor ki durum anlaşılsın. İşin bittiğinde driver.quit() yapıyor musun mesela?

bitwise · 16 Ekim 2023

Memory leak gibi duruyor anlattigin senaryo, kapatiyor musun yazdiktan sonra stream i?

kkank · 16 Ekim 2023

10binlerce satırlık bir not defteri içinden linkleri alıyor hafızasına, sırayla girdikçe gerekli bilgileri toplayıp yeni sayfaya yöneliyor.

Nizel G dedi:
Kodunu paylaşman gerekiyor ki durum anlaşılsın. İşin bittiğinde driver.quit() yapıyor musun mesela?

quit yapmıyor, zira işlem bitiminde yapacak.

bitwise dedi:
Memory leak gibi duruyor anlattigin senaryo, kapatiyor musun yazdiktan sonra stream i?

Her yeni sayfada tüm değişkenler sıfırlanıyor, sayfadakileri de bekletmeden yazıyor. Hangi steam'i kapatmam lazım bilmiyorum. Yazdırma işlemini şu şekilde yapıyorum hafızasında biriktirmesin diye:

Python:

with open("xxxxxxxxxxxxx","a",encoding="utf-8") as file2:
    file2.write(bilgiler + "\n")

bitwise · 16 Ekim 2023

kkank dedi:
10binlerce satırlık bir not defteri içinden linkleri alıyor hafızasına, sırayla girdikçe gerekli bilgileri toplayıp yeni sayfaya yöneliyor.

quit yapmıyor, zira işlem bitiminde yapacak.

Her yeni sayfada tüm değişkenler sıfırlanıyor, sayfadakileri de bekletmeden yazıyor. Hangi steam'i kapatmam lazım bilmiyorum. Yazdırma işlemini şu şekilde yapıyorum hafızasında biriktirmesin diye:

Python:

with open("xxxxxxxxxxxxx","a",encoding="utf-8") as file2: file2.write(bilgiler + "\n")

Kodu gormeden zor, "with open" senin icin yazdiktan sonra kapatiyor streami.

Nizel G · 16 Ekim 2023

Chromium tarayıcılarda geçmiş sayfaları hatırlama kaydı var. Ondan dolayı birikme oluyor olabilir.

kkank · 16 Ekim 2023

bitwise dedi:
Kodu gormeden zor, "with open" senin icin yazdiktan sonra kapatiyor streami.

Açık tutup, tüm işlem bitiminde kapanacak şekilde ayarlayacaktım ama bu daha stabil geldi gözüme. Denedim baktım hızı gayet iyi dokunmadım.

Nizel G dedi:
Chromium tarayıcılarda geçmiş sayfaları hatırlama kaydı var. Ondan dolayı birikme oluyor olabilir.

Evet Edge kullanıyorum. Çerezleri, geçmişi ya da bununla alakalı şeyleri silmemin bir yolu var mı? Veya 500 sayfada bir tarayıcıyı kapatıp açtırsam bunu çözebilir miyim?

Python Dosya yazma işleminde zamanla yavaşlama

kkank

Hectopat

Nizel G

Megapat

bitwise

Gigapat

kkank

Hectopat

bitwise

Gigapat

Nizel G

Megapat

kkank

Hectopat