Python Beautiful Soup çok geç veri çekiyor

Maxtoric

Hectopat
Katılım
31 Mayıs 2021
Mesajlar
3.015
Makaleler
2
Çözümler
46
Daha fazla  
Cinsiyet
Erkek
Merhaba arkadaşlar. Ben Python ile bir Discord botu yaptım. Bot sitelerden çektiği veriyi Discord kanalına yansıtıyor. VDS bağladım ama Chrome driver anlaşılan bozuk. Hata veriyor. Bende Beautiful Soup kütüphanesine geçtim. Ancak verileri çok geç çekiyor. Yeni veri çekene kadar o veri değişiyor. XML2 ile denedim sonuç aynı. Bu veri çekme işlemini nasıl hızlandırabilirim? (İnternette sorun yok.)

:/home/container$ if [[ -d .git ]] && [[ ${AUTO_UPDATE} == "1" ]]; then git pull; fi; if [[ ! -z ${PY_PACKAGES} ]]; then pip install -U --prefix .local ${PY_PACKAGES}; fi; if [[ -f /home/container/${REQUIREMENTS_FILE} ]]; then pip install -U --prefix .local -r ${REQUIREMENTS_FILE}; fi; /usr/local/bin/python /home/container/${BOT_PY_FILE} Traceback (most recent call last): File "/home/container/bot.py", line 15, in <module> browser = webdriver.Chrome (service=Service (ChromeDriverManager ( ).install ( ))) File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/chrome/webdriver.py", line 81, in init super().init( File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/chromium/webdriver.py", line 103, in init self.service.start() File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/common/service.py", line 106, in start self.assert_process_still_running() File "/home/container/.local/lib/python3.9/site-packages/selenium/webdriver/common/service.py", line 119, in assert_process_still_running raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}") selenium.common.exceptions.WebDriverException: Message: Service /home/container/.wdm/drivers/chromedriver/linux64/107.0.5304/chromedriver unexpectedly exited. Status code was: 127
 
Veriyi cektigin yer gec cevap veriyor olabilir mi? Kontrol ettin mi bunu?
Ayrica Chrome Driver'a zaten ihtiyacin yok.
 
Veriyi cektigin yer gec cevap veriyor olabilir mi? Kontrol ettin mi bunu?
Siteyle alakası yok hocam. Ve evet kontrol ettim. Çekilen yer güncelleniyor fakat kodlara yansıması uzun sürüyor. Seleniumda iken böyle bir şeyolmadı.
Ayrica Chrome Driver'a zaten ihtiyacin yok.
Sürprizbozandaki hata VDS ile seleniumu çalıştırınca çıkan hata.
 
Siteyle alakası yok hocam. Ve evet kontrol ettim. Çekilen yer güncelleniyor fakat kodlara yansıması uzun sürüyor. Seleniumda iken böyle bir şeyolmadı.

Sürprizbozandaki hata VDS ile seleniumu çalıştırınca çıkan hata.

O halde profiling yapip neresi bottleneck yapiyor bulmalisin.

Discord botu nasil calisiyor bilmiyorum ama cektigin veriyi uzun uzun process etmiyorsan sitenin cevap verme suresine yakin zamanlarda alman gerekiyor. Ezbere bir sey soylemek zor.

Eger kod remote server'da calisiyorsa, o server uzerinden response time kontrol etmen gerek yalniz. Kendi cihazindan kontrol edip de yanlis varsayimlar yapmamalisin.
 
O halde profiling yapip neresi bottleneck yapiyor bulmalisin.

Discord botu nasil calisiyor bilmiyorum ama cektigin veriyi uzun uzun process etmiyorsan sitenin cevap verme suresine yakin zamanlarda alman gerekiyor. Ezbere bir sey soylemek zor.

Eger kod remote server'da calisiyorsa, o server uzerinden response time kontrol etmen gerek yalniz. Kendi cihazindan kontrol edip de yanlis varsayimlar yapmamalisin.
Çözdüm hocam. Sorun;

Ben bir veriyi bulmak için 3 kere find yaptırıyordum.
3 find kodundan sonra veriyi alıyordu.
3 Kere find yaptığı için de veriyi bulması uzun sürüyordu.

Bende tek satırda birleştirdim ve artık internet hızımla neredeyse aynı oldu.
 

Yeni konular

Geri
Yukarı