Python Beautiful Soup çok geç veri çekiyor

Maxtoric

Centipat
Katılım
31 Mayıs 2021
Mesajlar
717
Çözümler
9
Daha fazla  
Cinsiyet
Erkek
Merhaba arkadaşlar. Ben Python ile bir Discord botu yaptım. Bot sitelerden çektiği veriyi Discord kanalına yansıtıyor. VDS bağladım ama Chrome driver anlaşılan bozuk. Hata veriyor. Bende Beautiful Soup kütüphanesine geçtim. Ancak verileri çok geç çekiyor. Yeni veri çekene kadar o veri değişiyor. XML2 ile denedim sonuç aynı. Bu veri çekme işlemini nasıl hızlandırabilirim? (İnternette sorun yok.)

:/home/container$ if [[ -d .git ]] && [[ ${AUTO_UPDATE} == "1" ]]; then git pull; fi; if [[ ! -z ${PY_PACKAGES} ]]; then pip install -U --prefix .local ${PY_PACKAGES}; fi; if [[ -f /home/container/${REQUIREMENTS_FILE} ]]; then pip install -U --prefix .local -r ${REQUIREMENTS_FILE}; fi; /usr/local/bin/python /home/container/${BOT_PY_FILE} Traceback (most recent call last): File "/home/container/bot.py", line 15, in <module> browser = webdriver.Chrome (service=Service (ChromeDriverManager ( ).install ( ))) File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/chrome/webdriver.py", line 81, in init super().init( File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/chromium/webdriver.py", line 103, in init self.service.start() File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/common/service.py", line 106, in start self.assert_process_still_running() File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/common/service.py", line 119, in assert_process_still_running raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}") selenium.common.exceptions.WebDriverException: Message: Service /home/container/.wdm/drivers/chromedriver/linux64/107.0.5304/chromedriver unexpectedly exited. Status code was: 127
 

bitwise

Megapat
Sosyal Tayfı
Katılım
22 Mart 2018
Mesajlar
6.746
Makaleler
1
Çözümler
58
Veriyi cektigin yer gec cevap veriyor olabilir mi? Kontrol ettin mi bunu?
Ayrica Chrome Driver'a zaten ihtiyacin yok.
 
KS
KS
Maxtoric

Maxtoric

Centipat
Katılım
31 Mayıs 2021
Mesajlar
717
Çözümler
9
Daha fazla  
Cinsiyet
Erkek
Veriyi cektigin yer gec cevap veriyor olabilir mi? Kontrol ettin mi bunu?
Siteyle alakası yok hocam. Ve evet kontrol ettim. Çekilen yer güncelleniyor fakat kodlara yansıması uzun sürüyor. Seleniumda iken böyle bir şeyolmadı.
Ayrica Chrome Driver'a zaten ihtiyacin yok.
Sürprizbozandaki hata VDS ile seleniumu çalıştırınca çıkan hata.
 

bitwise

Megapat
Sosyal Tayfı
Katılım
22 Mart 2018
Mesajlar
6.746
Makaleler
1
Çözümler
58
Siteyle alakası yok hocam. Ve evet kontrol ettim. Çekilen yer güncelleniyor fakat kodlara yansıması uzun sürüyor. Seleniumda iken böyle bir şeyolmadı.

Sürprizbozandaki hata VDS ile seleniumu çalıştırınca çıkan hata.

O halde profiling yapip neresi bottleneck yapiyor bulmalisin.

Discord botu nasil calisiyor bilmiyorum ama cektigin veriyi uzun uzun process etmiyorsan sitenin cevap verme suresine yakin zamanlarda alman gerekiyor. Ezbere bir sey soylemek zor.

Eger kod remote server'da calisiyorsa, o server uzerinden response time kontrol etmen gerek yalniz. Kendi cihazindan kontrol edip de yanlis varsayimlar yapmamalisin.
 
KS
KS
Maxtoric

Maxtoric

Centipat
Katılım
31 Mayıs 2021
Mesajlar
717
Çözümler
9
Daha fazla  
Cinsiyet
Erkek
O halde profiling yapip neresi bottleneck yapiyor bulmalisin.

Discord botu nasil calisiyor bilmiyorum ama cektigin veriyi uzun uzun process etmiyorsan sitenin cevap verme suresine yakin zamanlarda alman gerekiyor. Ezbere bir sey soylemek zor.

Eger kod remote server'da calisiyorsa, o server uzerinden response time kontrol etmen gerek yalniz. Kendi cihazindan kontrol edip de yanlis varsayimlar yapmamalisin.
Çözdüm hocam. Sorun;

Ben bir veriyi bulmak için 3 kere find yaptırıyordum.
3 find kodundan sonra veriyi alıyordu.
3 Kere find yaptığı için de veriyi bulması uzun sürüyordu.

Bende tek satırda birleştirdim ve artık internet hızımla neredeyse aynı oldu.
 
Yukarı