Visual Studio C#'ta liste kutusuna çok veri aktarınca yavaşlıyor ve bir süre sonra donuyor

SadeceBirİnsanAHuman · 9 Ağustos 2023

C# ile dosyadaki verileri satır satır liste kutusuna aktarıyorum. 1 milyon veri gibi yüksek miktarda verilerde ilerleme zamanla aşırı yavaşlıyor. En sonunda donuyor. Hiç ilerlememeye başlıyor. Bu problemi nasıl çözerim?

SadeceBirİnsanAHuman · 9 Ağustos 2023

bitwise dedi:
Parca parca islerken kontrol etmis olmuyor musun zaten? Bu dedigin hepsini neden tek seferde memory e doldurdugunu aciklamiyor.

5.000'er 5.000'er yapmak olayı yeterince açıklıyor. Milyonlarca log satırı varken nasıl azar azar denetleme yapayım? Bu dediğin yöntem uzun sürer.

bitwise · 9 Ağustos 2023

SadeceBirİnsanAHuman dedi:
5.000'er 5.000'er yapmak olayı yeterince açıklıyor. Milyonlarca log satırı varken nasıl azar azar denetleme yapayım? Bu dediğin yöntem uzun sürer.

"Denetleme" dedigin nedir? Ne yapiyorsun mesela da 5000 lik partition yapmanin performansindan endise duyuyorsun?

SadeceBirİnsanAHuman · 9 Ağustos 2023

bitwise dedi:
"Denetleme" dedigin nedir? Ne yapiyorsun mesela da 5000 lik partition yapmanin performansindan endise duyuyorsun?

Örneğin bir dosyada 1 milyon satır olsun. 5.000'er satır olarak kontrol etmek uzun sürer.

Bu satırlar SQL kodları içeriyor. Bu kodları alıp yazılımda test ediyorum. Eğer hata var ise kodu düzeltiyorum.

Dynamics · 9 Ağustos 2023

Doğrudan sorun çıkaran şeyi çözmek yerine o sorunu manuel olarak çözüyorsun orada da süreçle ilgili başka bir sorun yaşıyorsun. Hayretler içerisindeyim.

SadeceBirİnsanAHuman · 9 Ağustos 2023

Dynamics dedi:
Doğrudan sorun çıkaran şeyi çözmek yerine o sorunu manuel olarak çözüyorsun orada da süreçle ilgili başka bir sorun yaşıyorsun. Hayretler içerisindeyim.

Tabii ki sistemi otomatikleştirdim ama yine de bir yerde problem oluşabiliyor. Örneğin düzenli ifadelerle kesme işareti gibi hataları önledim. Bunun dışında görünmeyen karakterler var. Bu karakterleri düzenli ifade ile engelleyemediğim için elle denetlemek zorunda kalıyoruz.

TheAny · 10 Ağustos 2023

SadeceBirİnsanAHuman dedi:
Örneğin bir dosyada 1 milyon satır olsun. 5.000'er satır olarak kontrol etmek uzun sürer.

Bu satırlar SQL kodları içeriyor. Bu kodları alıp yazılımda test ediyorum. Eğer hata var ise kodu düzeltiyorum.

1 milyon satırı aynı anda kontrol etmenin daha kısa olduğunu sana kim söyledi ki? Zaten iterasyon usulü çalışıyor. Bir seferde veriyi memorye yükleyip içinde itere edeceğine, 5000 veriyi yükle onun içinde itere et. Sonuçta hala karakter kontrolü yapıyorsun. Multithreading kullan.

4 thread ile bu işi neredeyse 4te bir süreye düşürürsün. Tek bir iterasyon yerine paralel iterasyon ile lineer search çoook daha mantıklı.

Veriyi chunklar halinde alıp tekrar 4 chunka bölebilirsin. Yada 0dan başlayıp 5er 5er attlattığın bir lineer search denersin. 0-5-10, 1-6-11, 2-7-12, 3-8-13, 4-9-14... İkinci söylediğimde exception beklemen lazım. Eğer thread veri limiti dışına çıkarsa hata alacaksın çünkü.

Fastest way to search for an element in unsorted array

I just bumped on to this question today and was trying for a solution that is better than O(N) but could not come up with one. Searched through SO but couldn't find this question. Is there any

stackoverflow.com

SadeceBirİnsanAHuman · 10 Ağustos 2023

TheAny dedi:
1 milyon satırı aynı anda kontrol etmenin daha kısa olduğunu sana kim söyledi ki?

Tecrübe konuşuyor. Elle kontrol ediyorum. Verileri alıp diğer yazılıma eklemek otomatik yapılmıyor. 5.000'er biçiminde olduğunda 1 milyonu anında aktarmaya göre daha uzun sürecektir.

Visual Studio C#'ta liste kutusuna çok veri aktarınca yavaşlıyor ve bir süre sonra donuyor

Ayrıntılı düzenleme

SadeceBirİnsanAHuman

Gigapat

SadeceBirİnsanAHuman

Gigapat

bitwise

Gigapat

SadeceBirİnsanAHuman

Gigapat

Dynamics

Kilopat

SadeceBirİnsanAHuman

Gigapat

TheAny

Gigapat

Fastest way to search for an element in unsorted array

SadeceBirİnsanAHuman

Gigapat

Benzer konular