Meta’nın yeni yapay zeka kartı, Nvidia’nın GPU’larına olan bağımlılığını azaltmaya yönelik bir adım

Meta kısa süre önce şirketin yapay zeka eğitim altyapısına ilişkin ayrıntıları açıkladı ve şu anda açık kaynaklı Llama 3 LLM’yi eğitmek için yaklaşık 50.000 Nvidia H100 GPU’ya dayandığını ortaya koydu.

Yapay zeka alanında faaliyet gösteren pek çok büyük teknoloji firması gibi Meta da Nvidia’nın donanımına olan bağımlılığını azaltmak istiyor ve bu yönde bir adım daha attı.

Meta’nın halihazırda kendi yapay zeka çıkarım hızlandırıcısı olan Meta Training and Inference Accelerator (MTIA), sosyal medya devinin kurum içi yapay zeka iş yükleri, özellikle de çeşitli ürünlerindeki deneyimleri iyileştirmek için özel olarak tasarlandı. Şirket şimdi, selefini önemli ölçüde geliştiren ikinci nesil MTIA hakkında bilgiler paylaştı.

Yazılım Yığını

MTIA’nın çıkarım yapabilen ancak eğitim yapamayan bu yenilenmiş sürümü, Meta’nın iş yükleriyle yakın ilişkisini koruyarak eski çözümün işlem ve bellek bant genişliğini iki katına çıkarıyor. Kullanıcılara öneriler sunan sıralama ve tavsiye modellerine verimli bir şekilde hizmet etmek için tasarlanmıştır. Yeni çip mimarisi, bu modellerin benzersiz ihtiyaçlarını karşılamak için işlem gücü, bellek bant genişliği ve bellek kapasitesinin dengeli bir karışımını sağlamayı amaçlıyor. Mimari, SRAM kapasitesini geliştirerek düşük parti boyutlarında bile yüksek performans sağlıyor.

En yeni Hızlandırıcı, MTIA v1’den 3,5 kat daha fazla yoğun hesaplama performansı ve yedi kat daha iyi olduğu bildirilen seyrek hesaplama performansı sunan 8×8 işlem elemanları (PE’ler) ızgarasından oluşuyor. Bu ilerleme, yeni mimaride seyrek hesaplamanın ardışık düzenlenmesi ve verilerin PE’lere nasıl beslendiği konusundaki optimizasyonlardan kaynaklanıyor. Temel özellikler arasında yerel depolama boyutunun üç katına çıkarılması, çip üzerindeki SRAM’in iki katına çıkarılması ve bant genişliğinde 3,5 kat artış ve LPDDR5 kapasitesinin iki katına çıkarılması yer alıyor.

Donanımın yanı sıra Meta, optimum bir genel çıkarım çözümünü sinerji haline getirmek için yazılım yığınını silikonla birlikte tasarlamaya da odaklanıyor. Şirket, 72 adede kadar hızlandırıcı barındıran, çipi 1,35 GHz’de saatlemek ve 90W’da çalıştırmak için tasarlanmış sağlam, raf tabanlı bir sistem geliştirdiğini söylüyor.

Diğer gelişmelerin yanı sıra Meta, hızlandırıcılar arasındaki dokuyu da geliştirerek bant genişliğini ve sistem ölçeklenebilirliğini önemli ölçüde artırdığını söylüyor. MTIA donanımı için yüksek performanslı kod üretmek üzere tasarlanmış bir arka uç derleyicisi olan Triton-MTIA, yazılım yığınını daha da optimize ediyor.