C# Türkçe alfabe ile anlamlı kelime tespiti nasıl yapılır?

Emirhan2626 · Salı 22:27

C# ile düzgün kelimeleri secip filtrelemek.

Elimde 60 adet kelime var. Bunlardan 1’i anlamlı, normal bir Türkçe kelime (örnek: “armut”)
59’u ise anlamsız, rastgele harflerden oluşan kelimeler (örnek: “SIEWK”).
Bu kelimeler uygulamayı her başlattığımda farklı şekilde çıkıyor; yani 1 anlamlı kelime ve 59 anlamsız kelime değişiyor.
Bu kelimelerden anlamlı olanı C# ile nasıl tespit edebilirim?

bitwise · Salı 22:43

Bu gorundugu kadar kolay bir is degil, agglutinative dillerde ( Turkce gibi ) ciddi NLP calismasi yapmak gerekir. Cunku eklemeler yaparak cok fazla kelime uretebiliyoruz.

Basitce elinde bir kelime sozlugu olmali, kelimenin sozlukte var olup olmadigini anlamalisin.

Daha sonra da kurallar ve morfolojik analiz yapilmali. CS alaninda bunun teknik ismi FST ( Finite-state transducer - Wikipedia )

Basitce yaptigi sey bir grup string ile ikinci grup string arasi iliskiyi belirlemek. Bu sekilde kelime gruplarinin alacagi ekleri, cumle yapisini morfolojik olarak iliskilendirebilirsin.

"Ben size gecen gun bos yere elma aldirttirilmayacak de mimistim?" cumlesindeki "aldirttirilmayacak" dogru, "de mimistim" hatali cunku soru eki olmamasi gereken yerde. Bunlari morfolojik analizle yapisal olarak anlarsin.

Dedigim gibi NLP zor bir konu; elinde buyuk train datasi ve kural setlerini iceren calismalar olmasi gerekiyor ya da sen kendin bunlari olusturacaksin. Sozlukten bakayim, anlamli mi karar vereyim gibi bir mekanizma yok. Kelimeleri parcalayip kokunu bulma, gramer ve eklenti analizleri, N-Gram analizleri gibi pek cok islem var dogal bir dilin dogal dilde anlamli olup olmadigini algoritmik olarak anlayabilmek icin.

Emirhan2626 · Salı 22:49

bitwise dedi:
Bu gorundugu kadar kolay bir is degil, agglutinative dillerde ( turkce gibi ) ciddi NLP calismasi yapmak gerekir. Cunku eklemeler yaparak cok fazla kelime uretebiliyoruz.

Basitce elinde bir kelime sozlugu olmali, kelimenin sozlukte var olup olmadigini anlamalisin.

Daha sonra da kurallar ve morfolojik analiz yapilmali. CS alaninda bunun teknik ismi fst ( Finite-state transducer - Wikipedia )

Basitce yaptigi şey bir grup string ile ikinci grup string arasi iliskiyi belirlemek. Bu sekilde kelime gruplarinin alacagi ekleri, cumle yapisini morfolojik olarak iliskilendirebilirsin.

"Ben size gecen gun bos yere elma aldirttirilmayacak de mimistim?" cumlesindeki "aldirttirilmayacak" dogru, "de mimistim" hatali cunku soru eki olmamasi gereken yerde. Bunlari morfolojik analizle yapisal olarak anlarsin.

Dedigim gibi NLP zor bir konu; elinde buyuk train datasi ve kural setlerini iceren calismalar olmasi gerekiyor ya da sen kendin bunlari olusturacaksin. Sozlukten bakayim, anlamli mi karar vereyim gibi bir mekanizma yok. Kelimeleri parcalayip kokunu bulma, gramer ve eklenti analizleri, n-gram analizleri gibi pek cok islem var dogal bir dilin dogal dilde anlamli olup olmadigini algoritmik olarak anlayabilmek icin.

Bayağı detaylı yazdığınız icin şimdiden teşekkür ederim hocam bilgim o kadar yok ben basit çözümü vardır diye düşünmüştüm bir kişinin önerisiyle yapay zekadan tahmini olarak sonuç cıkarması icin yardım aldım sanırsam çalışıyor test ediyorum iyi akşamlar elinize sağlık.

C# Türkçe alfabe ile anlamlı kelime tespiti nasıl yapılır?

Emirhan2626

Decapat

bitwise

Gigapat

Emirhan2626

Decapat