Groq’un ultra hızlı LPU’su ilk LLM-yerel işlemci olabilir

Groq’un ultra hızlı LPU’su ilk LLM-yerel işlemci olabilir – ve son demosu Nvidia ve AMD’yi çek defterlerini çıkarmaya ikna edebilir
Eski Google mühendisi ve CEO’su Jonathan Ross tarafından yönetilen Groq, yapay zeka uygulamaları için en yüksek hızları sağlayabileceğini söylediği ilk Dil İşleme Ünitesini (LPU) yarattığını iddia ediyor.

Bu cesur bir iddia, ancak son demoların desteklediğinden daha fazlası, yapay zeka için mutlak bir oyun değiştirici olabileceğini gösteriyor.

Daha önce Google’ın tensör işlem birimini (TPU) tasarlayan Ross, derin öğrenme çıkarım görevlerini mevcut CPU ve GPU’lardan daha verimli bir şekilde yürütebilecek bir çip oluşturmak için 2016 yılında Groq’u piyasaya sürdü.

Yıldırım hızında
Şirketin Tensor Stream Processor’ı (TSP), veri görevlerini sıralı ve organize bir şekilde işleyen bir montaj hattına benzetiliyor. Buna karşılık bir GPU, çalışanların işlem adımlarını uygulamak için gelip gittiği statik bir iş istasyonuna benzer. TSP’nin verimliliği, Üretken Yapay Zekanın yükselişiyle belirginleşti ve Ross’un TSP’yi tanınabilirliğini artırmak için Dil İşleme Birimi (LPU) olarak yeniden adlandırmasına yol açtı.
GPU’ların aksine LPU’lar, karmaşık zamanlama donanımı ihtiyacını ortadan kaldırarak tutarlı gecikme süresi ve verim sağlayan modern bir yaklaşım kullanır. LPU’lar ayrıca enerji tasarrufludur, birden fazla iş parçacığını yönetmenin ek yükünü azaltır ve çekirdeklerin yetersiz kullanımını önler. Groq’un ölçeklenebilir çip tasarımı, birden fazla TSP’nin geleneksel darboğazlar olmadan bağlanmasına olanak tanıyarak büyük ölçekli yapay zeka modelleri için donanım gereksinimlerini basitleştiriyor.

Groq’un ilk halka açık demosu, bir saniyeden kısa sürede yüzlerce kelimelik yanıtlar üreten yıldırım hızında bir yapay zeka yanıt motoruydu. Matt Shumer testi X’te yayınladı ve zamanın 3/4’ünden fazlasının üretmeye değil aramaya harcandığını söyledi.

Groq’u kullanan ilk halka açık demo: yıldırım hızında bir YZ Cevap Motoru Bir saniyeden daha kısa sürede yüzlerce kelimeyle gerçeklere dayalı, alıntılı cevaplar yazar Zamanın 3/4’ünden fazlası üretmeye değil aramaya harcanır LLM saniyenin çok altında bir sürede çalışır.
Bu etkileyici olsa da, Groq’un Chat-GPT ile başa baş gitmesini izlemek başka bir şey.
Groq’u kendiniz denemek istiyorsanız, yapay zeka için ne kadar hızlı olabileceği hakkında bir fikir edinmek için bu sohbet sayfasına gidin. Mevcut farklı modeller arasında geçiş yapmak için soldaki açılır menüyü kullanın.