Python Beautiful Soup kütüphanesi ile veri nasıl çekilir?

qusH dedi:

Örnek olarak kod atarsan yardımcı olabiliriz. Mesela ne yapıyorsun da none döndürüyor?

Genişletmek için tıkla...

Pete Castiglione dedi:

Örneğin YouTube anasayfasından video başlıklarını seçmek istiyorum diyelim ve şöyle bir kod yazdım(aşağıda). Burada ID = content olan elemente ulaşamıyorum ya ben bu elemente ulaşmak için sırasıyla hangi elementleri seçmem gerektiğini nereden anlayabilirim bir yöntemi falan mı var bilmediğim?

Genişletmek için tıkla...

qusH dedi:

Çok hakim değilim ancak bildiğim kadarıyla YouTube sayfa kaynağı çogunlukla JavaScript ve çok karmaşık. Bu yüzden HTML. Parser işlevsiz kalıyor olabilir.
HTML. Parser yerine 'lxml','HTML5lib','lxml-XML' kullanılabilir. Ama sonucun değişeceğini sanmıyorum. Alternatif olarak selenium kullanabilirsin.
Ek olarak Problem extracting Youtube search results

Genişletmek için tıkla...

Pete Castiglione dedi:

Teşekkürler fakat ben genel olarak Hepsiburada'dan falan da bazı kodlara erişmek için örnek veriyorum ID = device-price-1 olan div i istiyorum ya ona direk ulaşmaya çalıştığımda none veriyor o etiketi seçerken mesela body > div > div diye giden bir sırayla dizilmiş sonuçta iç içe buna ulaşırken tek tek üstündeki tüm etiketleri mi seçeceğim tam anlatamıyorum kusura bakmayın nasıl anlatacağımı bilemiyorum.

Genişletmek için tıkla...

qusH dedi:

Hepsiburada bana kaynak kodlarına erişim izni vermiyor. Status_code = 403 olarak gözüküyor. O yüzden işlem yapamıyorum.

Genişletmek için tıkla...

qusH dedi:

Hepsiburada bana kaynak kodlarına erişim izni vermiyor. Status_code = 403 olarak gözüküyor. O yüzden işlem yapamıyorum.

Genişletmek için tıkla...

Pete Castiglione dedi:

Büyük ihtimal status code ile erişim almak gerekli.

Genişletmek için tıkla...

Pete Castiglione dedi:

Büyük ihtimal status code ile erişim almak gerekli.


Büyük ihtimal status code ile erişim almak gerekli.



Peki sorumu söyle değiştirmek istiyorum hangi siteyi ne ile parse edeceğimi anlamanın bir yolu var mı?

Genişletmek için tıkla...

import requests
from bs4 import BeautifulSoup as bs
r = requests.get('https://www.gaming.gen.tr/kategori/hazir-sistemler/')
soup = bs(r.content, 'html.parser')
products = soup.find_all("a",attrs={"class": "woocommerce-LoopProduct-link woocommerce-loop-product__link"})
for product in products:
    print(product.h2.text)
    print((str(product.find("span", attrs={"class": "price"}).text).split("₺")[1]))
    print('--'*50)

qusH dedi:

Maalesef o kadar bilgi sahibi değilim.

Kod:Panoya kopyala

import requests.
from bs4 import BeautifulSoup as bs.
r = requests.get('https://www.gaming.gen.tr/kategori/hazir-sistemler/')
soup = bs(r.content, 'html.parser')
products = soup.find_all("a",attrs={"class": "woocommerce-LoopProduct-link woocommerce-loop-product__link"})
for product in products:
 print(product.h2.text)
 print((str(product.find("span", attrs={"class": "price"}).text).split("₺")[1]))
 print('--'*50)

Bu koda bir bak istersen sitedeki tüm hazır sistemleri listeledim. Sonrasında ihtiyacım olan ismi, fiyatı, indirimi, önceki fiyatı vs. rahatça ulaşabiliyorum.

Genişletmek için tıkla...