Dosya içindeki tekrarlanan veriler nasıl bulunur?

İyi akşamlar. Metin belgesinin içinde yüz binlerce kelimeler var. Alt alta sıralanmış içlerinde aynı kelimeler var. Tek tek çok zor oluyor nasıl bulup silebilirim toplu teşekkürler.

Excel'e yapıştır, "yinelenen hücreleri vurgula" kuralını uygula.

Programlama dilleri içerisinde tekrar eden verileri tekilleştiren fonksiyonlar mevcuttur. C# için Distinct metodu bu işi görür. Örneğin;
{x1,x2,x3,x5,x3,x3,x3,x2,x2} şeklinde bir dizi üzerinde metot kullanıldığında beklenen çıktı şu şekilde olur: {x1,x2,x3,x5}. Arada ihtiyaca göre ToList, ToArray gibi fonksiyonlar da kullanılabilir ancak konu dışına çıkmamak adına detaylarına girmiyorum.
Java'da ise stream().distinct().collect(Collectors.toList()) şeklinde bir metot zinciri ile unique list oluşturulabilir.

Genelde kod editörlerinde "Bul ve değiştir" (Find and replace) tarzı bir özellik oluyor. Bulunacak olarak elinizdeki kelime grubunu girip, değiştirilecek olarak da bir şey verilmezse silme işlemi gerçekleştirir.