Ollama Llama 3.1 405B çalıştırmak için neler gerekli?

Mrtrengh · 31 Temmuz 2024

Merhaba hocam, Llama 405b parametreli olan model sürümünün biraz daha gelişmiş halini (410 - 415B falan) çalıştırmak için sunucu gereksinimlerini bilen varsa yazabilir mi?

Normalde donanım kategorisinde açacaktım ama burası daha doğru olur diye düşündüm.

VolkanZiypak · 13 Eylül 2024

Çok iyi bir konuya değindiniz gezerken geçen şöyle bir şeye rastladım.

Run Llama 3.1 405B with Ollama: A Step-by-Step Guide

Meta’s recent release of the Llama 3.1 405B model has made waves in the AI community. This groundbreaking open-source model not only matches but even surpasses the performance of leading closed-source models. With impressive scores on reasoning tasks (96.9 on ARC Challenge and 96.8 on GSM8K)

blog.runpod.io

Ollama Llama 3.1 405B çalıştırmak için neler gerekli?

Mrtrengh

Centipat

VolkanZiypak

Hectopat

Run Llama 3.1 405B with Ollama: A Step-by-Step Guide