Meta, Lama 3 eğitimini nasıl geliştirdiğine daha fazla ışık tutuyor

Meta, Lama 3 eğitimini nasıl geliştirdiğine daha fazla ışık tutuyor – şimdilik neredeyse 50.000 Nvidia H100 GPU’ya güveniyor, ancak Meta’nın kendi AI çipine geçmesi ne kadar sürer?
Meta, açık kaynaklı Lama 3 llm’sini eğitmek için şu anda yaklaşık 50.000 Nvidia H100 GPU’ya güvendiğini ortaya koyarak yapay zeka eğitim altyapısıyla ilgili ayrıntıları açıkladı.

Şirket, 2024 yılı sonuna kadar hizmette 350.000’den fazla Nvidia H100 GPU’ya sahip olacağını ve diğer kaynaklardan gelen donanımlarla birleştirildiğinde yaklaşık 600.000 H100’e eşdeğer bilgi işlem gücüne sahip olacağını söylüyor.

Rakamlar, 24.576 Gpu’luk veri merkezi ölçekli kümeleriyle ilgili Meta paylaşılan ayrıntılar olarak ortaya çıktı.

Meta’nın kendi AI çipleri
Şirket, “Bu kümeler, halka açık llm’miz olan Llama 3’ün halefi olan Llama 2’nin yanı sıra GenAİ ve diğer alanlarda AI araştırma ve geliştirme de dahil olmak üzere mevcut ve yeni nesil AI modellerimizi destekliyor.“
Kümeler, şirket içi tasarlanmış, açık bir GPU donanım platformu olan Grand Teton (Wyoming’deki Milli Parkın adını almıştır) üzerine inşa edilmiştir. Grand Teton, daha iyi genel performans ve ölçeklenebilirlik için güç, kontrol, hesaplama ve kumaş arayüzlerini tek bir kasaya entegre eder.

Kümeler ayrıca, öncekinden daha büyük ve daha karmaşık modelleri desteklemelerini sağlayan yüksek performanslı ağ kumaşlarına da sahiptir. Meta, bir kümenin Arista 7800’e dayalı bir uzaktan doğrudan bellek erişim ağı yapısı çözümü kullandığını, diğerinin ise bir NVIDIA Quantum2 InfiniBand yapısına sahip olduğunu söylüyor. Her iki çözüm de 400 Gbps uç noktaları birbirine bağlar.

“Bu kümeler içindeki yüksek performanslı ağ yapılarının verimliliği, kilit depolama kararlarından bazıları, her birindeki 24.576 NVIDIA Tensor Core H100 GPU ile birleştiğinde, her iki küme sürümünün de rsc’de desteklenebileceğinden daha büyük ve daha karmaşık modelleri desteklemesine olanak tanıyor ve genai’deki gelişmelerin önünü açıyor ürün geliştirme ve yapay zeka araştırması, “dedi Meta.