C# ile web sitesinden veri çekme

Onatygt · 14 Ocak 2021

Eray T dedi:
Hocam site sizinse arşivleyebilirsiniz ancak site sizin değilse veri hırsızlığına giriyor bu iş. Her sitenin altında vardır işte copyright... İzin almadan yaparsanız soluğu mahkemede alabilirsiniz benim başıma geldi üstte bahsettim bakabilirsiniz.

Eki Görüntüle 836066

Paylaşmadığımız sürece illegal bir durum olmaz diye düşünüyorum. Sonuç olarak değişiklik yapmadan arşivlenecek.

salvia61 · 14 Ocak 2021

Eray T dedi:
İç içe döngü kullanın o zaman içindeki yazıları da çekersiniz.

İyi hoş diyorsunuz, bende öyle düşündüm ama bazı hatalara karşı gelemiyorum. Yani bazı string verileri htmlagilitypack de kullanamazsın tarzı dönüşler alıyorum programdan. İçinden çıkamadım..

Eray T · 14 Ocak 2021

Onatygt dedi:
Paylaşmadığımız sürece illegal bir durum olmaz diye düşünüyorum. Sonuç olarak değişiklik yapmadan arşivlenecek.

Hocam arşivleyip yayınlamamanızda bir sorun yok. Her sitede olan bir log tutma sistemi var bu sistem hangi IP adresi üzerinden trafik yaptığını tutuyor. Yani siz botu çalıştırdığınız anda hedef siteye büyük bir trafik biniyor bu da site üzerinde aksamalara neden olabiliyor. Log dosyası üzerinden yapılan IP adresini alıp mahkemeye verebilir.
Örnek hedef adres:

salvia61 dedi:
İyi hoş diyorsunuz, bende öyle düşündüm ama bazı hatalara karşı gelemiyorum. Yani bazı string verileri htmlagilitypack de kullanamazsın tarzı dönüşler alıyorum programdan. İçinden çıkamadım.

Hocam algoritma tasarlayın mantıklı düşünün. Ne yaparsam bu sistem düzgün çalışır diye kafa yorun. Bulacaksanız emin olun .

salvia61 · 14 Ocak 2021

salvia61 dedi:
Arkadaşlar kolay gelsin. Yeni öğreniyorum ama ufak bir sorum olacaktı. Bir web sitesinden veri çekmek istiyorum, sadece text olarak. Her şeyi yaptım sorunsuz çalışıyor ama sadece başlıkları alıyor. Tüm içeriğe ulaşmam için yardımcı olur musunuz?

[CODE lang="csharp" title="https.den sonra web sitesi var yazmadım sadece bilginize"]Uri url = new Uri("https://url");

WebClient client = new WebClient();
string html = client.DownloadString(url);
HtmlAgilityPack.HtmlDocument dokuman = new HtmlAgilityPack.HtmlDocument();
dokuman.LoadHtml(html);
HtmlNodeCollection basliklar = dokuman.DocumentNode.SelectNodes("//a");

foreach (var baslik in basliklar)
{
string link = baslik.Attributes["href"].Value;
listBox1.Items.Add(baslik.InnerText);[/CODE]

Hocam bunu denedim. İlk hatayı aldım. Daha sonra kendi çabalarımla düzelteyim dedim 2. hatayı aldım. Nerede yanlış yapıyorum acaba.

Eray T · 14 Ocak 2021

salvia61 dedi:
Hocam bunu denedim. İlk hatayı aldım. Daha sonra kendi çabalarımla düzelteyim dedim 2. hatayı aldım. Nerede yanlış yapıyorum acaba.

Değerleri geçici bir değerde tutun hocam bu hata gider, sabit bir değer olmadığı için değer Boolean dönüyor.

salvia61 · 14 Ocak 2021

Eray T dedi:
Değerleri geçici bir değerde tutun hocam bu hata gider, sabit bir değer olmadığı için değer Boolean dönüyor.

Hocam afedersiniz ama mala anlatır gibi anlatabilir misiniz?

Eray T · 14 Ocak 2021

salvia61 dedi:
Hocam afedersiniz ama mala anlatır gibi anlatabilir misiniz?

Kusura bakmayın ama kendinizi geliştirmek için kendiniz araştırıp bulmanız lazım. Yoksa kodu yapar atardım size. kendinize güvenin imkansız bir şey değil bu .

salvia61 · 14 Ocak 2021

En son aşağıdaki hale getirdim yukarıdaki arkadaşın tavsiyesiyle ama bu sefer de hiç veri getirmiyor. div.leri verileri çekeceğim siteden kopyaladım bu arada. En başta yazdığım durumda en azından başlıkları getiriyordu.

[CODE title="https.den sonra web sitesi var yazmadım"]Uri url = new Uri("https://url");
WebClient client = new WebClient();
string html = client.DownloadString(url);
var htmlad = client.DownloadString(url);
var clientad = new WebClient();
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(html);
var veri = doc.DocumentNode.SelectNodes("//*[@id='pagecenter']/div[4]/div[2]/div[1]/div[2]/div[5]/div[2]")[0];
if (veri != null)
{
listBox1.Text = "Veri" + veri.InnerHtml;[/CODE]

312971 · 15 Ocak 2021

salvia61 dedi:
En son aşağıdaki hale getirdim yukarıdaki arkadaşın tavsiyesiyle ama bu sefer de hiç veri getirmiyor. Div. Leri verileri çekeceğim siteden kopyaladım bu arada. En başta yazdığım durumda en azından başlıkları getiriyordu.

[CODE title="https.den sonra web sitesi var yazmadım"]Uri url = new Uri("https://url");
WebClient client = new WebClient();
string html = client.DownloadString(url);
var htmlad = client.DownloadString(url);
var clientad = new WebClient();
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(html);
var veri = doc.DocumentNode.SelectNodes("//*[@id='pagecenter']/div[4]/div[2]/div[1]/div[2]/div[5]/div[2]")[0];
if (veri != null)
{
listBox1.Text = "Veri" + veri.InnerHtml;[/CODE]

Listbox ekledin mi?

Bedirhan SAMSA · 15 Ocak 2021

Restsharp kullanmanızı tavsiye ederim.

C# ile web sitesinden veri çekme

Onatygt

Hectopat

salvia61

Decapat

Eray T

Terapat

salvia61

Decapat

Dosya Ekleri

Eray T

Terapat

salvia61

Decapat

Eray T

Terapat

salvia61

Decapat

312971

Hectopat

Bedirhan SAMSA

Hectopat