Qwen 3-Coder benim sisteme bayağı yük bindiriyor burada donanımsal limitasyonlara takılıyorum maalesef o sebeple uzun zamandır 2.5-Coder kullanıyordum, şimdi GPT-OSS'a geçtim Devstral da yine aynı problemle kullanamıyorum, çok yavaş.
OpenAI(ChatGPT) açık kaynaklı modelini tanıttı!
- Konuyu başlatan Shinoa
- Başlangıç Tarihi
- Mesaj 17
- Görüntüleme 571
- Katılım
- 20 Nisan 2020
- Mesajlar
- 4.213
- Makaleler
- 1
- Çözümler
- 62
GPT-OSS için de aynı durumu ben diyeceğim. Öbür modellerde problem yaşamazken GPT-OSS da hep bir sıkıntı hep bir problem. Ayarlarınız nedir? Hangi sağlayıcı üstünden çağrıyorsunuz?
Ollama ve Open WebUI üzerinde kullanıyorum. O kadar ayar denedim, yine en iyisi UI tarafında varsayılanda bırakmak oldu, Ollama'da KEEP_ALIVE 1 yaptım ve OLLAMA_FLASH_ATTENTION değeri 0 olarak ayarlı. Ollama'yı portable olarak kullanıyorum ben, böyle bir yapınız varsa bat dosyasını da paylaşabilirim.
- Katılım
- 20 Nisan 2020
- Mesajlar
- 4.213
- Makaleler
- 1
- Çözümler
- 62
Dediğiniz gibi ben de bir varsayılanla tekrar deneyim dedim evet, varsayılan çok daha iyi çalışıyor.
Bazı modeller Open WebUI tarafında önceden optimize edilmiş olarak geliyor, o sebeple ayar yapınca sistem karışıyor ama bazı modellerde de örneğin Gemma gibi ayar yapmak ciddi boost sağlıyor. LM Studio tarafında da GPT-OSS varmış ama denemedim, GGUF bence Ollama kadar stabil değil.
- Katılım
- 20 Nisan 2020
- Mesajlar
- 4.213
- Makaleler
- 1
- Çözümler
- 62
Katılıyorum sizlere, güzel bir sohbetti. Söylediklerinizi bir inceleyeleceğim
@Zakramoreas
Nasıl bir optimizasyon yapmışlar bilmiyorum ama LM Studio üzerinde model 5x hızıyla falan çalışıyor bende. Ayrıca Qwen 3 Coder da aynı şekilde. Ollama devri kapanmış galiba. Deneyin isterseniz siz de.
Nasıl bir optimizasyon yapmışlar bilmiyorum ama LM Studio üzerinde model 5x hızıyla falan çalışıyor bende. Ayrıca Qwen 3 Coder da aynı şekilde. Ollama devri kapanmış galiba. Deneyin isterseniz siz de.
- Katılım
- 20 Nisan 2020
- Mesajlar
- 4.213
- Makaleler
- 1
- Çözümler
- 62
Sizle konuştuktan sonra birkaç deneme daha yaptım Qwen3 Coder 30B 131k context Q4_K_M'de 150t/s elde ettim. Akabinde gpt oss içinde 60t/s gördüm. Uzun süredir yanlış kullanıyormuşum LLM stüdyoyu sizler de test edebilirsiniz.
Bugün Codex CLI ile OSS'u bir daha denemeyi düşünüyorum.
Son düzenleme:
Benzer konular
Technopat Haberler
Yeni konular
-
-
-
-
-
-
Fortnite'ta Roblox gibi özel serverlerden para kazanılabiliyor mu?- ASUS RX6700XT
- Mesaj: 1
-
-
-
-
-
-
-
