Inflection AI, Nvidia ile milyar dolarlık AI süper bilgisayarlar kuruyor
2022’de Silikon Vadisi’nde kurulan Inflection AI, ek 1,3 milyar dolarlık risk sermayesi topladı. Ortaklarıyla birlikte, yaklaşık 22.000 Nvidia H100 (hazne) hızlandırıcıya sahip bir yapay zeka süper bilgisayarı inşa ediyor. Diğer şeylerin yanı sıra Inflection AI, onu heypi.com/talk adresinde deneyebileceğiniz “Pi” sohbet robotunun yapay zekasını eğitmek için kullanmak istiyor.
Reklamcılık
AI süper bilgisayarının, FP16 veri biçimindeki kayan noktalı değerleri işlerken 22 exaflops (EFlops) hesaplama gücü elde ettiği söyleniyor; FP64 değerleriyle, sistem bugün zaten çalışıyor olsaydı, şirket Top500 süper bilgisayarlar listesinde 2. sırada yer alacağını tahmin ediyor.
Inflection AI, başlangıç sermayesinde yüz milyonlarca dolar topladı ve 3000’den fazla H100 hızlandırıcıdan oluşan bir küme işletiyor. Birkaç gün önce şirket, yapay zeka kıyaslaması MLPerf’te rekor sonuçları rapor edebildi. Inflection AI’ye göre, Büyük Dil Modeli (LLM) Inflection-1 ayrıca özellikle verimli bir şekilde hesaplar.
Modüler tasarımda (SXM5) bilgi işlem hızlandırıcı Nvidia H100
(Resim: Nvidia)
Devasa yapay zeka makineleri
Inflection AI, Microsoft (veya Microsoft Azure), Nvidia ve ABD bulut hizmeti sağlayıcısı CoreWeave ile işbirliği yapıyor. İkincisi, ABD’de Chicago, Las Vegas ve New Jersey’deki konumlarda, çoğunlukla Nvidia’dan AI hızlandırıcıların çalıştığı veri merkezlerini işletiyor. Microsoft ve Nvidia da CoreWeave’in ortaklarıdır.
MLPerf raporlarına göre Inflection AI, Intel Xeon Platinum 8462Y+ işlemcilerle eşleştirilmiş CoreWeave tarafından desteklenen Nvidia HGX H100 sistemlerini kullanıyor. Bir küme düğümü tipik olarak sekiz H100 modülünü (her biri 80 GB RAM’e sahip SXM5) iki CPU ile birleştirir. Supermicro bu tür sistemleri sağlar ve bunlardan dördünü 42 veya 48 U rafa, yani bir kabinde 32 H100 hızlandırıcıya paketler. Bu nedenle 22.000 H100 için 688 kabin gerekli olacaktır.
Supermicro’ya göre, raf başına maksimum güç tüketimi 45.000 watt (45 kW), 22.000 H100’e sahip tüm süper bilgisayar daha sonra 31 MW’a kadar yutabilir. Bu, Green500 listesine göre ilk EFlops süper bilgisayarı Frontier’in ihtiyaç duyduğu 22,7 MW’tan çok daha fazla.
Reklamcılık
Liste fiyatı 1 milyar doların üzerinde
Inflection AI liste fiyatlarını ödediyse, 22.000 H100 süper bilgisayarın maliyeti 1 milyar dolardan fazla olabilir. Bir Alman distribütör, HGX H100’e sahip bir sunucudan biraz farklı bir şekilde yapılandırılmış bir Nvidia DGX H100 için 431.600 Euro’luk (8x H100 ile) bir liste fiyatı belirtiyor. Üniversiteler yüzde 30 indirim alıyor.
Nvidia’nın kendisi de 2022’den beri çok büyük bir yapay zeka süper bilgisayarı inşa ediyor: Nvidia Eos ayrıca H100 hızlandırıcılarla donatılmıştır.
Nvidia’nın borsa değeri şu anda tavan yapıyor çünkü H100 kartlarına sahip çok sayıda yapay zeka süper bilgisayarı planlanıyor veya yapım aşamasında. Örneğin, Google Cloud ve Microsoft Azure şu anda yapay zeka bilgi işlem kapasitelerini büyük ölçüde genişletiyor.
Tanınmış ortaklar
Inflection AI, 2010 yılında Google tarafından 2014 yılında satın alınan bir şirket olan DeepMind Technologies’in kurucularından biri olan İngiliz uzman Mustafa Süleyman tarafından yönetiliyor. Milyarderler Bill Gates, Eric Schmidt (eski Google Başkanı) ve Reid Hoffman (LinkedIn kurucu ortağı) ABD’li rapçi will.i.am gibi Inflection AI’a yatırım yaptı.
(ciw)
Haberin Sonu