OpenAI, geliştirdiği yeni açık kaynak yapay zeka modellerini yerel cihazlarda çalıştırabilmek için NVIDIA ile iş birliğine gitti. Yapılan açıklamaya göre, “gpt-oss” adlı yeni model ailesi, artık yalnızca bulut altyapısında değil, NVIDIA’nın RTX destekli bilgisayarlarında ve iş istasyonlarında da kullanılabilecek.
İki şirketin birlikte yürüttüğü çalışma sonucunda, gpt-oss-20b ve gpt-oss-120b adını taşıyan iki model tanıtıldı. 20 milyar parametreye sahip gpt-oss-20b modeli, en az 16 GB VRAM içeren RTX AI PC’lerde çalışmak üzere optimize edildi. NVIDIA’nın RTX 5090 GPU’su kullanıldığında, modelin saniyede 250 token üretimi gerçekleştirebildiği bildirildi. Daha büyük ve profesyonel kullanım odaklı gpt-oss-120b modeli ise yalnızca RTX PRO GPU’lara sahip iş istasyonlarında destekleniyor.
Model doğruluğunu artırıyor, performans kaybını engelliyor
Her iki model de NVIDIA’nın H100 GPU’ları üzerinde eğitildi. Ayrıca, MXFP4 adı verilen yeni bir hassasiyet formatını destekleyen ilk modeller olma özelliğini taşıyor. Bu format, model doğruluğunu artırırken performans kaybı yaşanmamasını sağlıyor. Geniş bağlam uzunluğu desteğiyle dikkat çeken modeller, 131.072 token uzunluğuna kadar yerel çıkarım yapabiliyor. Ayrıca talimat takibi, düşünce zinciri oluşturma ve araç entegrasyonu gibi gelişmiş işlevlere sahip.
Geliştiriciler için çeşitli araç ve platformlar üzerinden bu modellere erişim sağlanabiliyor. Ollama uygulaması, ek kurulum gerektirmeden modelleri çalıştırmaya imkan tanıyor. Öte yandan, açık kaynaklı Llama.cpp projesi NVIDIA’nın katkılarıyla CUDA Graphs gibi performans iyileştirmeleri sunuyor. Microsoft’un önizleme aşamasındaki AI Foundry Local platformu da modellerin terminal üzerinden çalıştırılmasına olanak tanıyor.
NVIDIA CEO’su Jensen Huang, konuyla ilgili yaptığı açıklamada, OpenAI’nin açık kaynak yazılım alanındaki katkılarının, yapay zeka alanındaki küresel liderliğe katkı sunduğunu belirtti.
OpenAI ve NVIDIA’nın bu iş birliği, yapay zekanın kişisel ve profesyonel cihazlarda daha yaygın kullanılmasına yönelik önemli bir adım olarak değerlendiriliyor.
