İleride j. A. R. V. İ. S gibi hayali bir yapay zeka yapmak için sıfırdan iyice ve kalıpları iyi öğreten bir kurs istiyorum ücretsiz. Elimde RTX 4060 sistemim var (ileride RTX 5060 Ti 16 GB'a yükseltmek istiyorum llm için) bir de ileride Python öğrenmek için laptop alacağım kodları bu laptopta yazacağım llm ve diğer teknolojiler için ileride yükselteceğim RTX 4060 sistemimi kullanacağım ancak maalesef 8 GB VRAM llm için yetersiz kalabilir o yüzden dediğim gibi RTX 5060 Ti 16 GB alacağım.
Bu arada büyük çaplı bir proje değil ama diğerlerine nazaran kafa tutacak bir projeden bahsediyorum.
Merhaba.
Benzer bir projeye başladım. Özellikle arka servisler ve modül, Grid-tiling gibi yapıların temel kurallarını oluşturttum. Arka plan servisleri vs de sorunsuz. Wakeonword bağlamları da var.
Şu an için en büyük sorunum off-Grid TTS.
Sorunsuz akıcı farklı cinsiyet ve yaşa uygun metinlerin seslendirmesini yapması gerekiyor.
Microsoft TTS güzel ve akıcı olsa bile maalesef off-Grid yapı değil. Sürekli onların telemetry ağından geçmek zorunda.
Yani sürekli Online olmaya ihtiyaç duyuyor.
Altyapıda llm model seçme ve model indirme - API bağlantı altyapılarının temel kurallarını base olarak yazdırdım. Yani Online durumda veya llm Update için kullanıcıya alternatifler sunma ve ayarlama imkanı sağlıyorum.
Pyside6 ve qss var. Qml'in daha mantıklı ve daha iyi olduğunu, en büyük sorununda JS'den gelebilecek tehditler olduğunu söylüyor. Bir watchdog mimarisi ile her bağlanan kodun önce incelenip daha sonra çalışması daha mantıklı geliyor.
Mevcut Hardware'inde sorun yok. Eğer sistem ayarlarında RAM ve VRAM ayarlarını kullanıcı için değiştirilebilir bir yapı uygularsan veya VRAM omadığı zaman CPU ve RAM'e bina edebilirsen de sorunsuz çalışabilir. Belirli aralıklar ile hardware sorgusu yaptırıp, Startup'a RAM-CPU-VRAM'in kısa kontrolünü yaptırma durumunda son kayıtlı ayarlar ile başlar. Sonra yeniden hardware taraması ile de ayarlardan hardware upgrade'ine uygun bellek değerlerini değiştirebilirsin.
Mikropsoft mimarisinde bu yapı maalesef çok sorunlu ki ben Windows 11 de temel alt yapıları Linux için uygumlu tanımlasam da testleri yapmadım. Ayrıca "notepad'i aç dediğimde mevcut OS'a göre alternatif yazılımların bağlamını kural olarak oluşturdum. Fakat ne olursa olsun mikropsoft mimarisinde sorunlu bir yapı olacak. "dosya yöneticisini aç" dediğimde "Thunar-dolphin" gibi OS ve de durumuna göre çağrı bağlamı kuruyorum. Bu tür ayarlar için bir SQLite dB oldukça performanslı.
Bir Linux base üstüne Wayland ile entegre olup, daha sonra ihtitaç duyulan servisleri aynı tema mimarisi ile kullandırtmak her açıdan daha uygun geliyor. 2 yıl önce W11 için base kurulumda 1.9GB RAM yeterli ikeni geçenlerde kurduğum base ISO'dan +3, 5GB RAM yediğini fark ettim. Yani bu tür bir projeler için asla mantıklı değil. Şu sıralar sadece mod Windows 11 kullanıyorum. Her açıdan mantıklı benim için.
Ama şu var. Base yapıları ve modülleri azaltarak ve işin ağırlığını Windows 11'e devredersen de çalışır ama yine de gerçek performansı OS kullanacağı için hala riskler çok fazla.
Localde çalışan llm modellerinin hiçbirisi Online modellerin beşeri iletişim ve leb demeden leblebiyi anlama - bağlam oluşturma özelliği yok. Bu katman paylaşılan veya paylaşılmayı düşündükleri bir yapı da değil. Dolayısı ile localdeki bir Llm'in Online bir Llm'in yapabileceklerinin %1'i bile değil. Localde llm kullanmamın amacı temel OS ihtiyaçları - kişisel eğitim öğretimde destek sağlaması ve basit bağlamda analizler oluşturması için. Aksi halde A6000 ve H200 bir GPU'ya bile sahip olsan üst katman olmadığı sürece mantıklı sonuç alamazsın.
Off-Grid TTS arayışım son sürat devam ediyor.