X platformunun sahibi Elon Musk, xAI tarafından geliştirilen Grok 2 yapay zeka sohbet robotunun Ağustos ayında, Grok 3’ün ise yıl sonuna kadar geleceğini söyledi. Yaklaşan bu dil modelleri hakkında çok fazla şey bilinmiyor ancak Musk, Grok 3’ün 100.000 NVIDIA H100 ile eğitileceğini ve bu anlamda “gerçekten özel bir şey olması gerektiğini” belirtti.
Grok 3 end of year after training on 100k H100s should be really something special
— Elon Musk (@elonmusk) July 1, 2024
Musk’un Grok 2’nin çıkış ayına ilişkin açıklaması, Cohere CEO’su Aidan Gomez’in birçok modelin “OpenAI’nin model çıktıları üzerinde eğitim aldığını” açıklayan bir videosuna yanıt olarak geldi. Gomez, Cohere’in LLM’lerinde bunu yapmaması nedeniyle kullanıcıların bir şeylerin farklı hissettirdiğini söylediğini söyledi.
Sadly quite true. It takes a lot of work to purge LLMs from the Internet training data. Grok 2, which comes out in August, will be a giant improvement in this regard.
— Elon Musk (@elonmusk) July 1, 2024
Musk buna yanıt olarak videodaki görüşe katıldı ve yüksek lisans eğitimlerini internet eğitim verilerinden temizlemenin çok fazla çalışma gerektirdiğini söyledi. Grok 2’nin “bu açıdan dev bir gelişme” olacağını kaydetti.
Grok’un en yeni sürümünün gelişmiş muhakeme yetenekleri ve 128.000 token bağlam uzunluğuyla Mart ayında piyasaya sürülen 1.5 sürümü olduğunu belirtelim. Grok 1.5, MMLU, MATH ve GSM8K kıyaslamalarında GPT-4 kadar iyi puan alamadı ancak HumanEval kıyaslamasında GPT-4’ü geçmeyi başardı.
