Open webuı tool kullanımı nasıl ayarlanır?

Fulverax

Hectopat
Katılım
11 Kasım 2022
Mesajlar
225
Makaleler
1
Çözümler
3
Yer
Türkiye
Daha fazla  
Cinsiyet
Erkek
Merhaba, open webui ile birlikte RX7600 ekran kartıyla çalıştırabileceğim modeller arıyordum. Web Search özelliğini pek düzgün çalıştıramıyorum. Özelliği açtığım zaman model ihtiyaç duymasa bile her söylenileni internette aratmayı deniyor ve bu hem yanıt süresini korkunç uzatıyor hem de yanıt kalitesine bir katkı sağlamıyor. Bunun çözümü için function calling özelliğini native ile değiştirmem gerektiğini okudum, ama bu sefer de indirdiğim modeller 400 no tool support gibisinden bir hata veriyor. Acaba ben kurulum esnasında bazı şeyleri hatalı yapıyor olabilir miyim? Yardımcı olabilirseniz sevinirim.
 
Merhaba, open webui ile birlikte RX7600 ekran kartıyla çalıştırabileceğim modeller arıyordum. Web Search özelliğini pek düzgün çalıştıramıyorum. Özelliği açtığım zaman model ihtiyaç duymasa bile her söylenileni internette aratmayı deniyor ve bu hem yanıt süresini korkunç uzatıyor hem de yanıt kalitesine bir katkı sağlamıyor. Bunun çözümü için function calling özelliğini native ile değiştirmem gerektiğini okudum, ama bu sefer de indirdiğim modeller 400 no tool support gibisinden bir hata veriyor. Acaba ben kurulum esnasında bazı şeyleri hatalı yapıyor olabilir miyim? Yardımcı olabilirseniz sevinirim.
 
Local'de bir model çalıştırmak istiyorsan, ki kullandığın GPU oldukça düşük. Kullanacağın modellerde buna göre ufak boyutlu model olması gerekiyor.
Openwebuı localde docker ile çalışması gerekiyor.

Ben yaşadığım soruları GPT veya diğer Online modellere soruyorum. Farklı önerileri olabiliyor.

Mutlaka Local'de işlemler yapacaksan lm studio veya pinokio gibi bir arabirim daha kolay denemeler yapabilirsin.
 

Bu konuyu görüntüleyen kullanıcılar

Technopat Haberler

Yeni konular

Geri
Yukarı