Qwen3 Coder'ı denemenizi tavsiye ederim onun yanında en çok beğendiğim modelelrden birisi olan Devstral24B'de güzel. Qwen3 Coder'dan çok verim alamadım fakat Devstral gerçekten çok iyiydi, gerek tool kullanımında gerekse görevi anlamlnadırma ve akabinde işleme konusunda kod yazımı da fena değil.
Qwen 3-Coder benim sisteme bayağı yük bindiriyor burada donanımsal limitasyonlara takılıyorum maalesef o sebeple uzun zamandır 2.5-Coder kullanıyordum, şimdi GPT-OSS'a geçtim Devstral da yine aynı problemle kullanamıyorum, çok yavaş.
Qwen 3-Coder benim sisteme bayağı yük bindiriyor burada donanımsal limitasyonlara takılıyorum maalesef o sebeple uzun zamandır 2.5-Coder kullanıyordum, şimdi GPT-OSS'a geçtim Devstral da yine aynı problemle kullanamıyorum, çok yavaş.
GPT-OSS için de aynı durumu ben diyeceğim. Öbür modellerde problem yaşamazken GPT-OSS da hep bir sıkıntı hep bir problem. Ayarlarınız nedir? Hangi sağlayıcı üstünden çağrıyorsunuz?
Ollama ve Open WebUI üzerinde kullanıyorum. O kadar ayar denedim, yine en iyisi UI tarafında varsayılanda bırakmak oldu, Ollama'da KEEP_ALIVE 1 yaptım ve OLLAMA_FLASH_ATTENTION değeri 0 olarak ayarlı. Ollama'yı portable olarak kullanıyorum ben, böyle bir yapınız varsa bat dosyasını da paylaşabilirim.
Bazı modeller Open WebUI tarafında önceden optimize edilmiş olarak geliyor, o sebeple ayar yapınca sistem karışıyor ama bazı modellerde de örneğin Gemma gibi ayar yapmak ciddi boost sağlıyor. LM Studio tarafında da GPT-OSS varmış ama denemedim, GGUF bence Ollama kadar stabil değil.
Bazı modeller Open WebUI tarafında önceden optimize edilmiş olarak geliyor, o sebeple ayar yapınca sistem karışıyor ama bazı modellerde de örneğin Gemma gibi ayar yapmak ciddi boost sağlıyor. LM Studio tarafında da GPT-OSS varmış ama denemedim, GGUF bence Ollama kadar stabil değil.
Nasıl bir optimizasyon yapmışlar bilmiyorum ama LM Studio üzerinde model 5x hızıyla falan çalışıyor bende. Ayrıca Qwen 3 Coder da aynı şekilde. Ollama devri kapanmış galiba. Deneyin isterseniz siz de.
Nasıl bir optimizasyon yapmışlar bilmiyorum ama LM Studio üzerinde model 5x hızıyla falan çalışıyor bende. Ayrıca Qwen 3 Coder da aynı şekilde. Ollama devri kapanmış galiba. Deneyin isterseniz siz de.
Sizle konuştuktan sonra birkaç deneme daha yaptım Qwen3 Coder 30B 131k context Q4_K_M'de 150t/s elde ettim. Akabinde gpt oss içinde 60t/s gördüm. Uzun süredir yanlış kullanıyormuşum LLM stüdyoyu sizler de test edebilirsiniz.
Bugün Codex CLI ile OSS'u bir daha denemeyi düşünüyorum.