Sıradan PC'ler ile ChatGPT gibi bir dil modeli eğitemezsin. GPT-3.5 şu anda
175 milyar parametre kullanıyor. Örnek olması açısından 2018 yılındaki ilk sürümü, yani
117 milyon parametreli GPT-1'i 8 güçlü GPU'lu ve 1.7E19 flop gücünde bir sistemle
1 ay boyunca eğitmişlerdi. GPT-4'ün ne kadar parametreye sahip olduğu bilinmiyor ama GPT-3.5'dan fazla olduğu kesin ve söylenenlere göre OpenAI bu sistemi eğitmek için 100 milyon dolar para harcamış.
Aşağıdaki tabloyu inceleyebilirsin. Son bölüm, yani “training cost” kısmında ne kadarlık bir işlem hacmi gerektiğine dair bilgiler var:
Eki Görüntüle 1919769