Yapay Zeka Veri Merkezi Nedir? [Video ve Test]

Kısa cevap: Bir yapay zeka veri merkezi, ekstra GPU'ların bulunduğu bir sunucu odası değil, güç, soğutma, altyapı ve depolamanın modellerin eğitilmesi ve sunulması etrafında şekillendirildiği yüksek yoğunluklu bir alandır. Çipler ün kazanır; binanın kendisi çalışıp çalışmadıklarına karar verir. Görüntüler dışarı çıkarılamıyorsa, küçük bir hücreyi yeniden düzenleyin; çoğu ekip kiralamalıdır.

Önemli noktalar:

Çipler mi yoksa bina mı: Güç, soğutma, altyapı ve depolama, hızlandırıcıların çalışıp çalışmayacağını belirler.

Mekanlar saray değil: Verilerin dışarı çıkamayacağı durumlarda iki rafı sonradan takın; kampüs satın almayın.

Ortalama ve medyan karşılaştırması: Sekiz çalıştırmada medyan yeniden başlatmaları gizledi; 18 saatlik ortalamayı kullanın.

Yanlış kullanıma karşı direnç: Karma bir salonda iki raf için PUE değeri belirtmeyin.

Örnek sonuçlar: Sekiz çalıştırma küçük bir harita anlamına gelir, %50 üretim tasarrufu anlamına gelmez.

Bu makaleden sonra okumak isteyebileceğiniz diğer makaleler:

🔗 Yapay Zeka Güvenilir mi? Video ve Test
İlgi çekici bir video ve etkileşimli bir test aracılığıyla yapay zekanın güvenilirliğini keşfedin.

🔗 Günlük hayatta yapay zekayı nasıl kullanabilirsiniz?
Yapay zekanın günlük görevleri ve rutinleri nasıl basitleştirebileceğine dair pratik yolları keşfedin.

🔗 İşyerinde Yapay Zekayı Nasıl Kullanabilirsiniz?
Daha akıllı işyeri verimliliği için yapay zekayı kullanmanın pratik yollarını öğrenin.

🔗 Yapay zeka kendi başına düşünebilir mi?
Yapay zekanın gerçekten bağımsız olarak düşünebilme veya akıl yürütme yeteneğine sahip olup olmadığını anlayın.

"Normal" bir veri merkezinden farkı nedir?

Geleneksel ofis alanları, birçok küçük hizmette karma iş yükleri ve kesintisiz çalışma süreleri için optimize edilmiştir. Yedekliliğe ve PUE kavramına ( binanın bir watt işlem gücü sağlamak için tükettiği ekstra enerji). Ancak, genellikle her koridoru taşınabilir bir ısıtıcı çiftliği gibi davranan bir raf etrafında tasarlamıyorsunuz.

Yapay zeka siteleri oranları tersine çeviriyor. Yoğunluk artıyor. Ağ, eğitim işinin onsuz ilerleyemeyeceği bir yapı haline geliyor. Depolama, kontrol noktalarının sürekli hareket halinde kalmasını sağlamalı, aksi takdirde hızlandırıcılar trafik sıkışıklığında bekleyen yarış atları gibi hareketsiz kalır.

Kültürel bir fark da var. Kurumsal operasyonlar biletler ve değişiklik pencereleriyle düşünür. Yapay zeka operasyonları ise iş kuyruklarıyla ve uzun bir çalışmanın sonlarında bir düğümün ölmesiyle gelen kötü hisle düşünür. Sanırım ikisine de "veri merkezi" diyebilirsiniz çünkü öyleler. Etiket sadece altyapıyı gizliyor.

Bu bir ahlaki sıralama değil. Farklı makineler, aynı soyadı.

GPU'lar, hızlandırıcılar ve enerji tüketen raf

Geleneksel yükseltilmiş raflarda yürürken raflar neredeyse kibar görünüyor. Yapay zekâ destekli raflarda yürürken ise binayı yutmak ister gibi duruyorlar.

Öne çıkan donanım, akıllı bir CPU değil. Hızlandırıcı tepsisi: GPU'lar veya diğer yapay zeka çipleri, sunuculara, ardından raflara ve daha sonra yüksek bant genişliğine sahip bir yapıyı paylaşan sıralara yerleştirilmiş durumda. GPU ara bağlantıları, çipleri tek bir dev hızlandırıcı gibi davranabilen bir şeye dönüştürüyor; küme yapısı da aynı işi sıra ölçeğinde yapıyor. Paralel eğitim, ancak bu bağlantılar kalın ve tahmin edilebilir kaldığı sürece işe yarar. Bunu kaybederseniz, "kümeniz" bir posta kodunu paylaşan pahalı iş istasyonlarından oluşan bir yığın olur.

Güç, çipleri takip eder. Kalın bir ofis güç dağıtım ünitesi değil. Bir salon dolduğunda megavatlarca BT yükü - bir rakam uydurmayacağım. Raf başına yoğunluk, işin püf noktası. Daha az raf. Her biri küçük bir fırın. Sınırlayıcı faktör genellikle GPU istek listesi değil, trafo merkezidir. Nasıl olduğunu biliyorsunuz: satın alma departmanı daha fazla hızlandırıcı istiyor; elektrik şirketi uzun bir görüşme ve çok büyük bir çek istiyor.

Aklımdan çıkaramadığım biraz saçma bir benzetme: Raf, aç bir hayvandır. Daha hızlı bir tane yetiştirebilirsiniz. Yine de onu beslemeniz ve ısıtma sistemini temizlemeniz gerekir. Bunlardan birini atlarsanız, çok pahalı bir kağıt ağırlığına dönüşür.

Güç, ısı ve soğutma sorunu

Elektrik girer, ısı çıkar. Bütün din bundan ibaret.

Yüksek yoğunluklu raflar, havanın daha önce hiç yapmadığı bir şekilde ısıyı dışarı atar. Havayı daha fazla zorlayabilirsiniz - arka kapı ısı eşanjörleri, daha sıcak koridorlar, akıllıca tasarlanmış muhafaza sistemleri - ve bu bir noktaya kadar işe yarar. Sonra sıvı devreye girer:

• Doğrudan çipe soğutma

• Tesisat odasını kimya fabrikasına benzeten soğutma devreleri

• Su ve sunucuların aynı cümlede yer almaması gerektiğini düşünenleri hâlâ şaşırtan birkaç tasarıma dalmak

Bunların hiçbiri göz alıcı değil. Hepsi birer ürün, çünkü gaz pedalı işlevini kısıtlıyorsa, zaten parasını ödediğiniz ve tam olarak kullanamadığınız bir şeydir.

PUE hala önemli. Bu bir oran, kişilik değil. Operatörler bunun peşinde çünkü fanlara ve pompalara harcanan her watt, GPU'ya gitmeyen bir watt anlamına geliyor. "Tipik" bir rakam vermeyeceğim; iklim ve sınırı nasıl çizdiğiniz bunu değiştirir ve sahte hassasiyet hiç olmamasından daha kötüdür. Su da hikayede yer alıyor. Bazı bitkiler yudum yudum su içer. Bazıları ise hızla. Buharlaşmalı soğutma, nehir veya kuraklık onu politik hale getirene kadar verimlidir.

Ağ iletişimi: Kumaşın önemi, çipler kadar büyük

İnsanlar GPU'ların fotoğraflarını çekiyor. Anahtarların fotoğraflarını çekmeliler.

Eğitim bir diyalogdur. Binlerce hızlandırıcı, sıkı bir senkronizasyon içinde gradyanları, parametreleri, modelin parçalarını değiş tokuş eder. Eğer bağlantıda bir aksama olursa, tüm iş en yavaş bağlantı noktasında bekler. Bu nedenle yapay zeka merkezleri, yüksek bant genişliğine sahip ağlara, düşük gecikmeye ve bir bağlantı başarısız olduğunda ikiye katlanmayan topolojilere takıntılıdır. InfiniBand benzeri ağlar, aynı rolde Ethernet, kutunun içindeki GPU ara bağlantıları, ilk seferde doğru olması gereken kablolama.

Çıkarım farklı bir konu. Model sunumu, ortalama yanıt yerine en yavaş yanıtı yani kuyruk gecikmesini önemser. Toplu işlem ve gerçek zamanlı işlem arasındaki fark, yaklaşımı farklılaştırır. Bir eğitim kümesi, büyük, toplu, her şeye yakın bir hareket. Bir sunum filosu ise, yük dengeleyicide trafik sıkışıklığı olmadan, birçok küçük istek ve izolasyon ister.

Buradayken şunu da belirtmekte fayda var: İnsanlar şebekeyi tesisat, patates kızartmasını da restoran olarak görüyor. Bu binada tesisat restoranın ta kendisi. Bunu gözden kaçırırsanız, sipariş alamayan bir mutfak satın almış olursunuz.

Eğitim ve çıkarım: iki ayrı yapı, bazen kelimenin tam anlamıyla

Eğitim bir kampanya gibidir. Bir küme oluşturursunuz, ona veri yüklersiniz, düzenli olarak kontrol noktaları oluşturursunuz, saatlerce veya haftalarca çalıştırırsınız ve sistemin sorunsuz çalışması için dua edersiniz. Yoğun toplu işlem, yüksek bant genişliği gerektiren, sessizce sabırlı bir süreçtir - ta ki arızalı bir düğüm çalışmayı sekteye uğratana kadar. Sıkıca bağlı bir işte tek bir ölü hızlandırıcı, tüm koroyu durdurabilir.

Çıkarım bir vitrin gibidir. Zaten eğitilmiş modeller artık soruları yanıtlıyor, görüntüleri sınıflandırıyor, metin üretiyor. Gecikme süresi önemlidir. Müşteriye yakın, biraz daha eski bir hızlandırıcı, kıtalar ötesindeki gösterişli bir hızlandırıcıyı geride bırakabilir.

Yani bir ayrım ortaya çıkıyor. Eğitim kampüsleri güç, arazi ve yoğunluk peşinde koşarken, çıkarım merkezleri gecikme süresi ve varlık süresi peşinde koşuyor. Hibrit salonlar da mevcut, çünkü sermaye sonsuz değil. Yani her zaman iki bina değil. Bazen kadife halatlı ve iki soğutma devreli tek bir salon da olabiliyor.

Burada ayrıca veri merkezi hizmetleri, büyük ölçekli kampüsler ve şirket içi çözümler de ayrışıyor. Büyük ölçekli veri merkezleri, geri kalanımızın mobilya yerleştiriyormuş gibi görünmesine neden olacak ölçeklerde kurulum yapıyor. Veri merkezleri raf başına yoğunluk satıyor. Verilerin dışarı çıkamayacağı durumlarda şirket içi çözümler hala geçerliliğini koruyor.

Depolama verimliliği, kontrol noktaları ve yüksek işlem gücüne sahip çipler

Kimse paralel dosya sistemini broşürün kapağına koymaz.

Eğitim verilerinin, GPU'ların aşırı yüklenmemesi için yeterince hızlı gelmesi gerekiyor. Bir çökmenin bir haftalık çalışmayı boşa harcamaması için kontrol noktalarının zamanında yüklenmesi gerekiyor. Sunucu kopyası yayına girmeden önce model ağırlıklarının yüklenmesi gerekiyor. Depolama kapasitesi değil, verimliliği de sessiz darboğazdır. Hızlandırıcılar için bir servet harcayabilir ve sanal makineler için tasarlanmış, kibar bir diziyle onları yetersiz bırakabilirsiniz.

Desen tanıdık: parlak bir küme, bir iş kuyruğu ve kaba bir fatura gibi bakan G/Ç bekleme süresi. Veri yolunu kümelemeden hesaplamayı kümelemek, çok pahalı bir bekleme süresine yol açar. Çipleri beslemeye devam edin veya bir heykel satın aldığınızı kabul edin.

Yazılım, orkestrasyon ve göz alıcı olmayan operasyon katmanı

Donanım ünlüdür. Planlamacılar işi yapar.

Yapay zeka veri merkezi, işler GPU bulamazsa, iki ekip kavga etmeden bir kümeyi paylaşamazsa, arızalı bir işlemci değiştirilemezse veya bellenim yavaş çekimde ağ arızasına yol açana kadar sapma gösterirse işe yaramaz. Orkestrasyon, gözlemlenebilirlik, güç sınırlaması - gösterişsiz operasyon katmanı, işte bu yüzden önemli olduğunu anlıyorsunuz.

Bu katmana karşı özel bir ilgim var. Ayrıca, yanlış yapılandırılmış bir ağ kartının tüm öğleden sonra boyunca soğutma sorunu gibi davranması da acı bir şekilde öğreniliyor.

Bir düğüm çalışma sırasında öldüğünde

Bir düğüm ölüyor. Değişiklik pencereleri, takviminizi umursamayan eğitim çalışmalarıyla hala çakışıyor. Büyük işleri toplu olarak planlıyorsunuz, çıkarım havuzlarını ayırıyorsunuz, "iş yavaş" gibi görünen ancak "iş öldü" gibi görünen hatalar için çalışma kılavuzları yazıyorsunuz. Yedeklilik hala önemli - güç, soğutma, yollar, depolama - ancak arıza modu, eski %90 çalışma süresi slaytından daha az düzenli. Çıkarım: çoğaltın, arızalı düğümü boşaltın, yanıt vermeye devam edin. Eğitim, iyimserlik değil, kontrol noktaları ister.

Konum, su, şebeke ve komşular

Manzarayı izlemek için böyle bir şeyi bir kır evinin yanına bırakmazsınız.

Şebeke bağlantısı çoğu zaman asıl yer seçimi sürecidir. Bir trafo merkezi ve diğer müşterileri olan bir kamu hizmeti kuruluşuyla karşılaştırıldığında arazi kolaydır. Soğutma için su kullanıyorsanız, yağmur şiddetli yağdığı anda komşu sorunu haline gelir. Gürültü. Görsel hacim. Sınır çitinde ısı. Planlama komiteleri, "bulut"un bir tarlaya ve nehre ihtiyaç duyduğu anda onun hakkındaki görüşleri keşfederler.

Gecikme süresi tam tersini etkiliyor. Çıkarım işlemleri kullanıcılara ve ara bağlantılara yakın olmayı tercih ediyor. Eğitim işlemleri daha ucuz enerji piyasalarında ve daha serin iklimlerde gizlenebiliyor. Sektör, sanki tek bir mükemmel yer varmış gibi konuşuyor. Oysa yok. Bir basın bülteniyle varılan bir uzlaşma söz konusu.

Artan ısı ve davetsiz misafir fırını

Broşürler bu kısmı çok sever. Atık ısıyı evlere, havuzlara, seralara borularla taşıyın; ne güzel bir cümle. Bazen bölge döngüsü gerçektir. Bazen kampüs yanlış yerdedir ve ısı yine de havaya karışır. Broşürdeki versiyona şüpheyle yaklaşıyorum; fiziğe ise şüpheyle yaklaşmıyorum.

Kimin buna ihtiyacı var (ve kimler bunun yerine kiralamalı)?

Çoğu insanın bu salonlardan birine sahip olmasına gerek yoktur.

Özetle:

• Büyük ölçekli bulut sağlayıcıları, çünkü ürün filodur

• Laboratuvarlar, bekleme süresinin darboğaz oluşturduğu veya verilerin dışarı çıkamadığı durumlarda sorun yaratabilir

• Gizli veri setine sahip bir banka, hastane grubu, hükümet veya üretici (ister kendi sunucularında ister özel bir veri merkezinde olsun) zahmetli olsa bile mantıklı davranabilir

Diğer herkes kiralamalı. Yapay zekaya hazır yoğunluklu ortak yerleşim. Bulut rezervasyonu. Yönetilen küme. Enerji santrali operatörü olmadan da hızlandırıcıları elde edersiniz. Birisi sabah 3'te soğutma devresi için kimin nöbetçi olduğunu sorduğunda romantizm kaybolur.

Kabul etmeliyim ki, işin içinde bir gurur meselesi var. Bu kümenin sahibi olmak, tahmin yeteneğine sahip olmak gibi hissettiriyor. Sonra elektrik faturası geliyor ve gurur bir kenara bırakılıyor.

Binanın kullanım amacı

Peki, bir Yapay Zeka Veri Merkezi nedir? Hızlandırıcıların, gücün, soğutmanın, altyapının ve depolamanın, modellerin eğitilmesi ve sunulması etrafında organize edildiği, özel, yüksek yoğunluklu bir kampüstür; köşesinde bir GPU bulunan genel amaçlı bir BT merkezi değildir. Bir depoya benziyor. Matematik yapan bir enerji santrali gibi davranıyor.

Başka hiçbir şeyi hatırlamasanız bile: Çipler şöhreti kazanır; trafo merkezi, soğutucu ve şebeke, bu çiplerin iyi bir fikir olup olmadığına karar verir. Eğitim ve çıkarım aynı çatı altında olabilir; yine de farklı yöntemler isterler. Çoğu kuruluş kiralamalıdır. Birkaçı inşa etmelidir. Komşular her iki durumda da fark edecektir.

Bulutun her zaman bir binası vardı. Bugünlerde binanın fikirleri var.

Gerçek dünya örneği: Görüntülerin dışarı çıkarılamadığı iki raflı bir eğitim hücresi

Senaryo

Tomos, Batı Midlands'da 400 çalışanı olan bir üretici firma olan Kestrel Precision'da altyapı sorumlusu olarak görev yapıyor. Zaten küçük bir şirket içi salonları var: ERP, dosya paylaşımı, sanal makineler, bu makalenin başında bahsedilen karma ortam. Hava soğutma. Sıradan Ethernet. Ofis diskleri için son derece uygun bir SAN.

Makine görüşü ekibinin fabrika fotoğraf makineleri üzerinde bir denetim modeli eğitmesi gerekiyor. Fotoğraf makineleri tesis dışına çıkarılamaz. Şirketin bulut diskine, hatta özel bir diske bile koymayacağı bir süreci gösteriyorlar. Satın alma departmanının çözümü, dört adet çift hızlandırıcı sunucu ve "yapay zeka veri merkezimiz" başlıklı bir slayt. Sunucular, yer olduğu için mevcut iki rafa yerleştiriliyor ve yer darlığı bir kısıtlama gibi görünüyor.

Hayır, öyle değil. İki hafta içinde GPU'lar meşgul gibi ses çıkarıyor ve sonra sessizce yavaşlıyor. SAN'a bir kontrol noktası ulaştığında işler çok yavaş ilerliyor. On birinci saatte bir düğüm ölüyor ve çalışma tamamen bitiyor. Tomos çip satın almayı ihmal etmedi. Aynı posta kodunu paylaşan bir sürü pahalı iş istasyonu satın aldı. Bina hala bir kurumsal merkezdi.

Bir kampüse, yeni bir trafo merkezine veya bir nehre ihtiyaçları yok. Minyatür bir yapay zeka veri merkezi gibi davranan küçük bir hücreye ihtiyaçları var: rafların gerçekten tutabileceği güç, çipleri pişirmeden dışarı atılan ısı, eğitim işinin iletişim kurabileceği bir altyapı, kontrol noktası alabilen depolama ve bir düğüm öldüğünde kullanılacak bir çalışma kılavuzu. Görüntüler dışarı çıkamayacağı için, kırk dakika uzaklıktaki bir veri merkezini kiralamak çözüm değil. İki rafı yeniden düzenlemek çözüm.

Hücrenin ihtiyaç duyduğu şey

• O sıradaki güç bütçesi, GPU istek listesinden değil, PDU'lardan ölçülmüştür. Eğer yedek kapasite, eğitim yükünde dört sunucuyu besleyemiyorsa, görüşme orada durur ve mucizevi bir çözüm aramak yerine daha yoğun bir veri merkezine yönelirler

• Bu yoğunlukta havanın soğutulması hiçbir zaman istenmedi: salon uygunsa arka kapı ısı eşanjörleri veya mümkünse küçük bir sıvı döngüsü kullanılır. Bunlardan hiçbiri mümkün değilse, sunucular içeri alınmaz

• Dört düğüm arasında, ofis Ethernet'i yerine, özel bir yüksek bant genişliğine sahip ağ yapısı kullanılmalıdır. Eğer satıcının kataloğunda yalnızca 10 Gb'lik bir switch varsa, bu bir kümeleme değildir

• Sanal makine SAN'ı değil, kontrol noktaları ve eğitim bölümleri için yerel hızlı depolama alanı

• Bir zamanlayıcı, bir kontrol noktası aralığı ve yazılı bir yeniden başlatma yolu. Donanım başrolde. Bu katman ise işin kendisi

• Üretim hattı için, eğitim gürültüsünden ayrı, çitlerle çevrili bir çıkarım kutusu; çünkü hizmet sunma, toplu bir etkileşim yerine kuyruk gecikmesi ve izolasyonu ister

• Güç tüketimini, GPU saat hızlarını, hız düşürme olaylarını ve iş akışını kaydetme izni. Bunları inceleyemezlerse, GPU'ların fotoğraflarını çekecekler ve anahtarları gözden kaçıracaklar

Örnek talimat

Tomos bunu tesis şartnamesinde, sade bir dille şöyle ifade ediyor:

Burasına yapay zeka kampüsü demeyin. Mevcut salonda dört adet çift hızlandırıcı sunucu için iki raflı bir eğitim hücresi kurun. Fabrika imajları yerinde kalsın. Başarı şudur: dört düğüm, termal kısıtlama olmadan 12 dönemlik bir denetim-eğitim programını tamamlar, on dakikalar değil dakikalar içinde bir kontrol noktası oluşturur ve kasıtlı olarak bir sıralamayı öldürdüğümüzde o kontrol noktasından devam eder. Soğutma, GPU'ları eğitim saat hızlarında tutmalıdır. Ağ, ofis yığını üzerinden bir yol değil, bu dört kutunun paylaştığı bir yapı olmalıdır. Depolama, çipleri beslemelidir. Arka kapı ısı eşanjörleri sığmıyorsa, bunu söyleyin ve durun. Karma bir salonda iki raf için PUE değeri vermeyin. Bu rakam tiyatro olurdu.

Ardından bunu eğitim içeriğine ekliyor:

Yerel hızlı havuza her 30 dakikada bir kontrol noktası oluşturun. Eğer bir rütbeli oyuncu ölürse, son tamamlanan kontrol noktasından yeniden başlayın. SAN'da beklemeyin. Saatler aşırı ısınmadan dolayı düştüğünde eğitime devam etmeyin. Kayıt altına alın ve durdurun, böylece duraklamayı görebilelim.

İyi bir saat şöyle görünür: sekiz GPU'nun tamamı eğitim saat hızlarında çalışır, kontrol noktası dosyası kaydedilmiştir, iş hala senkronize bir şekilde devam etmektedir. Kötü bir saat ise şöyle görünür: fanlar son hızda çalışır, saat hızları düşmüştür, on dakika sonra kontrol noktasının %2'si yazılmıştır ve ofisteki biri "küme çalışıyor" der. Çalışıyor olmak, eğitim anlamına gelmez.

Nasıl test edilir?

Testleri tadilattan önce yazıyorlar, bu da demo sürümlerine güvenmemenin asıl amacı.

• Aynı 12 dönemlik tarif, aynı 120.000 denetim damıtma cihazı, sekiz deneme

• Zamanlama, işin gönderilmesinden 12. dönemin son kontrol noktasına kadar ölçülen, yeniden başlatmalar da dahil olmak üzere, tamamlanmış bir tarif için gerçek zaman anlamına gelir

• Isınma sorunu yok: GPU saat hızları, çalıştırma boyunca eğitim hedefinde kalır. İşlem sonunda bitse bile, bir hız kısıtlama olayı başarısızlık olarak kabul edilir

• Depolama ile ilgili bir değerlendirme: iş günlüğünden alınan kontrol noktası yazma süresi, medyan ve en kötü değerler

• Kumaş üzerinde bir geçiş: Birlik sağlıklı olduğu sürece iş toplu beklemede kalmaz. Eğer bu beklemeyi göremiyorlarsa, enstrümantasyon tamamlanmamıştır

• Sekiz çalıştırmanın ikisinde, yeniden başlatma yolunu test etmek amacıyla, belirli bir adımda kasıtlı olarak bir sıralama hatası meydana gelir

• Çıkarım, fabrika hattından çitlerle çevrili servis kutusuna kadar ayrı bir 200 görüntülük testtir. Eğitim başarısı, servis başarısı olarak sayılmaz

• PDU'lardan gelen güç tüketimini 15 dakikalık örnekler halinde kaydediyorlar, böylece kimsenin megavat kavramını icat etmesine gerek kalmıyor

Hücreyi "yapay zekâya hazır" olarak adlandırmanın kabul edilebilirliği: 8 tarifin 8'i de tamamlandı; 8 tarifin 0'ında termal kısıtlama görüldü; durdurulan her iki çalıştırma da devam etti; kontrol noktaları dakikalar içinde kaldı. Bunu kaçırırlarsa, yine de gelişmiş grafik kartlarına sahip bir sunucu odaları var.

Sonuç

Bu, yayınlanmış bir Kestrel rakamı değil, uydurma sekiz denemeden elde edilen örnek bir sonuçtur.

Varsayımlar: iki rafta dört adet çift hızlandırıcılı sunucu; bir inceleme modeli; 120.000 fotoğraf; sabit 12 dönemlik bir tarifin sekiz çalıştırılması; gerçek zaman, tarif tamamlanana kadar yeniden başlatmaları içerir; hız kısıtlaması, eğitim saatinden kaydedilen bir düşüş anlamına gelir; kontrol noktası zamanı, istenen değil, yazılan zamandır; raf gücü, kampüs PUE'si değil, PDU örnekleridir.

Yenileme işleminden önce, ofis Ethernet'inde ve VM SAN'da bulunan GPU'lar sıradan hava soğutmalı raflardaydı:

• 8 koşudan 5'i ilk denemede tamamlandı. Bu beş koşunun ortalama tamamlanma süresi: 14 saat

• 8 denemeden 3'ü yaklaşık 11. saatte bir duraklama yaşadıktan sonra yeniden başlamak zorunda kaldı (ikisi eski bir kontrol noktasıyla bir düğümün ölmesi, biri ise bir kontrol noktasının SAN'ı doldurması nedeniyle). Anında yeniden deneme yapıldı, saatte gece boyunca bekleme yok: 11 saat boşa harcandı artı 14 saatlik ikinci bir deneme, yani bu üç denemede bitmiş bir tarif için 25 saat

• Sekiz tarifin tamamında, yeniden başlatmalar dahil, ortalama bitirme süresi: 18 saat. (Beş tanesi 14, üç tanesi 25 saatte tamamlandı. Sekiz tarifin medyanı hala 14, bu da yeniden başlatmaları gizler. Bu yüzden burada ortalama değer temel alınmıştır.)

• 8 denemenin 7'sinde termal kısıtlama kaydedildi. Azaltılmış saat hızıyla ortalama süre: 14 saatlik denemede 3 saat

• Kontrol noktası yazma süresi: ortalama 22 dakika

• Rütbeye göre öldürme, geçebilecekleri bir sınav değildi. Bir kılavuzları yoktu. İki kaza sonucu ölüm, bulgularıydı

• Eğitim sırasında iki raf üzerindeki en yüksek BT ​​yükü: yaklaşık 18 kW. Sıra, watt gücüne sahipti. Soğutma veya kumaşa sahip değildi

Bu iki raftaki arka kapı ısı eşanjörlerinden sonra, dört düğüm arasında özel bir ağ yapısı, kontrol noktaları için küçük bir NVMe havuzu, 30 dakikalık kontrol noktası oluşturma ve yeniden başlatma çalıştırma kılavuzu:

• 8 kişiden 8'i ilk denemede tamamladı. Ortalama tamamlama süresi: 9 saat

• Termal kısıtlama: 0/8

• Kontrol noktası yazma süresi: ortalama 90 saniye. En kötü süre: 3 dakika

• İki kasıtlı rütbe düşürme denemesi de son 30 dakikalık kontrol noktasından devam etti. Bu iki denemede ek süre yaklaşık 40 dakikaydı (teşhis dahil), yani toplamda 9 saat 40 dakikaya yakın bir süreydi. Sekiz denemenin ortalaması yine de 9 saate denk geliyor

• En yüksek BT ​​yükü hala yaklaşık 18 kW. Aynı çipler. Farklı bina davranışı

Bu örneklemde, ortalama bitmiş tarif süresi 18 saatten 9 saate, yani her seferinde 9 saate, sekiz denemede toplam 72 saate düştü. İlk denemede bitirme oranı 8'de 5'ten 8'de 8'e çıktı. Gaz kelebeği kullanımı 8'de 7'den 0'a düştü. Bu son rakam, hızlandırıcı mı yoksa işe yaramayan bir şey mi aldıklarını gösteriyor. Zaman değişimini üretimde %50 tasarruf olarak adlandırmayacaklar. Sekiz deneme küçük ve kolay bir örneklem.

Bu rakamlar, belirtilen test, küçük bir örneklem, bir model ve karma bir salon temel alınarak yapılan tahmini bir örnektir. Bunlar bir PUE (Güç Kullanım Verimliliği) değeri, bir kampüs megavatı veya Kestrel'in bir eğitim tesisini bir alana kurması gerektiğinin kanıtı değildir. Kayıtların incelenmesi 9 saat içinde gerçekleşti; bunu gizlemediler. 18 kW rakamı, yuvarlanmış bir PDU (Güç Dağıtım Birimi) okumasıdır, bir elektrik faturası değildir. 72 saati maliyete dönüştürmediler çünkü fabrikanın karma elektrik tarifesi sahte bir iş gerekçesi oluşturacaktı.

Servis kontrolü ayrı ve daha küçüktü: Çitlerle çevrili kutuya 200 satırlık görüntü, hepsi yerinde. Bu çıkarım, eğitim değil. İkisini karıştırmak, hibrit salon hatasının minyatür bir örneği olurdu.

Neler ters gidebilir?

• Satın alma departmanı dört sunucuyu sürekli "yapay zeka veri merkezi" olarak adlandırıyor. Bu etiket, altyapıyı gizliyor ve bir sonraki alım, aynı hasta koridoru için daha fazla GPU olacak

• Arka kapıdaki ısı eşanjörleri takılıyor ve kimse su tarafını devreye almıyor. Fanlar hâlâ bağırıyor. Saatler hâlâ geri sayıyor

• Ağ yapısı, yedek yolu olmayan tek bir anahtardan oluşuyor. Tek bir bağlantı arızalandığında "küme" tekrar dört iş istasyonundan oluşuyor

• NVMe havuzu "ikinci aşamada" olduğu için kontrol noktaları SAN üzerinde kalır. İkinci aşama, bir sonraki ölü düğümden önce gelmez

• Karma bir salonda iki raf için bir PUE değeri veriyorlar. İklim, sınır ve ERP sırasının geri kalanı bu oranı bir kostüm haline getiriyor

• Eğitim ve hizmet aynı dokuyu paylaşıyor. Kontrol noktasındaki yoğunluk fabrika hattını bekletiyor. Oradaki ürün yoğunluk değil, kuyruk gecikmesidir

• Bir düğüm çöker ve biri bunu kontrol noktası yeniden başlatması yerine çalışma süresi sorunu olarak ele alır. Kurumsal operasyonlar ve yapay zeka operasyonları tüm öğleden sonra boyunca birbirlerini anlamadan konuşurlar

• Bir kafes kiralayabilirlerdi, ancak görüntüler dışarı çıkamaz. Bu kısıtlamayı unutmak, onları çözmek zorunda kalacakları bir bulut sohbetine sürüklüyor

Pratik çıkarımlar

Bu biçimdeki bir Yapay Zeka Veri Merkezi, bir depo veya bir GPU faturası değildir. Hızlandırıcıların çalışmasını tamamlamasını sağlayan hücredir: tutabilecekleri güç, dışarı atılan ısı, bir yapı, bir kontrol noktası ve bir kademe öldüğünde sorumlu biri. Kestrel'in bir kampüse ihtiyacı yoktu. Rol yapmayı bırakmak için iki rafa ihtiyaçları vardı. Çoğu ekip bu davranışı kiralamalıdır. Gizli bir veri kümesine ve ısıya dayanabilecek bir salona sahip birkaç ekip ise bir hücre inşa etmeli ve kaymayı reddetmelidir.

SSS

Yapay Zeka Veri Merkezi nedir?

Yüksek yoğunluklu bir bilgi işlem merkezi; güç, soğutma, ağ ve depolama altyapısının, genel amaçlı sunucuların düzenli sıraları yerine, paralel eğitim ve model sunumuna odaklanacak şekilde tasarlandığı bir yerdir. Çok sayıda hızlandırıcı, erimeden, ağda takılmadan veya diskte beklemeden modelleri eğitebilir ve sunabilir şekilde tasarlanmıştır. Sıradan bir kurumsal bina karma bir mahalledir. Bir yapay zeka binası ise, değer birimi GPU veya TPU tipi çipler gibi hızlandırıcı olan tek tip bir kültürdür. Bir depoya benziyor ve matematik yapan bir enerji santrali gibi davranıyor.

Yapay zekâ veri merkezi ile normal bir veri merkezi arasındaki farklar nelerdir?

Geleneksel veri merkezleri, birçok küçük hizmette karma iş yükleri ve kesintisiz çalışma süreleri için optimize edilmiştir. Yapay zeka siteleri ise oranları tersine çevirir: yoğunluk artar, ağ, eğitim işinin aksamadan devam edemeyeceği bir yapı haline gelir ve depolama, kontrol noktalarının hareket halinde kalmasını sağlamalıdır, aksi takdirde hızlandırıcılar boşta kalır. Kurumsal operasyonlar biletler ve değişiklik pencereleriyle düşünür. Yapay zeka operasyonları ise iş kuyrukları ve uzun bir çalışmanın sonlarında bir düğümün ölmesiyle oluşan kötü hisle düşünür. Her ikisine de veri merkezi diyebilirsiniz. Etiket sadece altyapıyı gizler.

Yapay zeka veri merkezleri neden bu kadar çok enerji tüketiyor?

Öne çıkan donanım, akıllı bir CPU değil. Öne çıkan donanım, hızlandırıcı tepsisi: sunuculara, ardından raflara ve daha sonra yüksek bant genişliğine sahip bir ağ üzerinde sıralar halinde yerleştirilmiş GPU'lar veya diğer yapay zeka çipleri. Raf başına yoğunluk ise işin püf noktası: daha az raf, her biri küçük bir fırın gibi. Bir salon dolduğunda megavatlarca BT yükü ortaya çıkıyor, ancak tipik bir rakam uydurmaya değmez. Sınırlayıcı faktör genellikle GPU'ların istek listesi değil, trafo merkezidir.

Yapay zeka veri merkezleri nasıl soğutuluyor?

Yüksek yoğunluklu raflar, havanın daha önce hiç başa çıkması istenmemiş bir şekilde ısıyı dışarı atar. Arka kapı ısı eşanjörleri, daha sıcak koridorlar ve akıllı muhafaza ile havayı daha fazla itebilirsiniz. Sonra sıvı devreye giriyor: doğrudan çipe soğutma, soğutma devreleri ve bazı tasarımlarda daldırma. Kısıtlama yapan bir hızlandırıcı, zaten parasını ödediğiniz ve tam olarak kullanamadığınız bir hızlandırıcıdır. PUE hala önemlidir çünkü fanlara ve pompalara harcanan her watt, GPU'ya gitmeyen bir watt'tır. Su da hikayede yer alıyor: bazı bitkiler yudumlar, bazıları yutar.

Ağ bağlantısı neden GPU'lar kadar önemli?

Eğitim bir konuşmadır: binlerce hızlandırıcı, sıkı bir senkronizasyon içinde gradyanları, parametreleri ve bir modelin parçalarını değiş tokuş eder. Eğer bağlantıda bir aksama olursa, tüm iş en yavaş bağlantı noktasında bekler. Bu nedenle yapay zeka merkezleri, yüksek bant genişliğine sahip ağlara, düşük gecikmeye, InfiniBand benzeri ağlara veya aynı rolde Ethernet'e ve bir bağlantı başarısız olduğunda ikiye katlanmayan topolojilere takıntılıdır. Çıkarım, kuyruk gecikmesine, birçok küçük isteğe ve izolasyona önem verir. Bu binada tesisat, restorandır.

Yapay zeka veri merkezi ne için kullanılır: eğitim için mi yoksa çıkarım için mi?

Eğitim bir kampanya gibidir: bir küme oluşturun, ona veri besleyin, düzenli olarak kontrol noktaları oluşturun ve saatlerce veya haftalarca çalıştırın. Çıkarım ise bir vitrin gibidir: modeller zaten eğitilmiştir, şimdi yanıt veriyorlar ve gecikme süresi önemlidir. Eğitim kampüsleri güç, arazi ve yoğunluk peşindedir. Çıkarım merkezleri ise gecikme süresi ve varlık peşindedir. Hibrit salonlar mevcuttur çünkü sermaye sonsuz değildir, bazen iki soğutma döngüsüne sahip tek bir salon bile olabilir. Müşteriye yakın biraz daha eski bir hızlandırıcı, kıtalar ötesindeki gösterişli bir hızlandırıcıyı geride bırakabilir.

Yapay zeka veri merkezinde depolama neden önemlidir?

Eğitim verilerinin, GPU'ların aşırı yüklenmemesi için yeterince hızlı gelmesi gerekiyor. Bir çökmenin bir haftalık çalışmayı boşa harcamaması için kontrol noktalarının zamanında yüklenmesi gerekiyor. Sunucu kopyası yayına girmeden önce model ağırlıklarının yüklenmesi gerekiyor. Sadece kapasite değil, depolama verimliliği de sessiz darboğazdır. Hızlandırıcılar için bir servet harcayabilir ve sanal makineler için tasarlanmış, kibar bir diziyle onları yetersiz bırakabilirsiniz.

Çalışma sırasında bir düğüm ölürse ne olur?

Sıkıca bağlı bir eğitim işinde tek bir ölü hızlandırıcı, tüm koroyu durdurabilir. Eğitim, iyimserlik değil, kontrol noktaları ister. Çıkarım, arızalı düğümü boşaltır, bir kopyanın yanıt vermesini sağlar ve canlı kalır. Değişiklik pencereleri, takviminizi umursamayan eğitim çalışmalarıyla hala çakışır. Yedeklilik, güç, soğutma, yollar ve depolama için hala önemlidir, ancak arıza modu, eski dokuzlu çalışma süresi slaytından daha az düzenlidir.

Yapay zeka veri merkezlerinin elektrik şebekesi, su kaynakları ve komşu bölgeler üzerindeki etkisi nedir?

Şebeke bağlantısı genellikle asıl yer seçimi sürecidir. Bir trafo merkezi ve diğer müşterileri olan bir elektrik şirketiyle karşılaştırıldığında arazi daha kolaydır. Soğutma için su kullanıyorsanız, yağmur şiddetli yağmaya başladığı anda gürültü, görsel hacim ve sınır çitindeki ısı ile birlikte komşu sorunu haline gelir. Eğitim, daha ucuz enerji piyasalarında ve daha serin iklimlerde gizlenebilir. Çıkarım, kullanıcılara yakın olmayı sever. Mükemmel tek bir yer yoktur. Basın bülteniyle bir uzlaşma sağlanır.

Yapay zeka veri merkezine sahip olmam mı gerekiyor, yoksa kiralamalı mıyım?

Çoğu insanın bu salonlardan birine sahip olmasına gerek yok. Büyük ölçekli veri merkezleri, ürünün filo olması nedeniyle bu tür tesisler kuruyor. Laboratuvarlar, bekleme süresinin darboğaz olduğu veya verilerin dışarı çıkamadığı durumlarda bu tesisleri kuruyor. Gizli veri setine sahip bir banka, hastane, devlet kurumu veya üretici, şirket içi veya özel bir veri merkezi kiralamayı mantıklı bulabilir. Diğer herkes kiralamalıdır: Yapay zekaya hazır veri merkezi, bulut rezervasyonu veya yönetilen bir küme. Enerji santrali işletmecisi olmadan hızlandırıcıları elde edersiniz.

Referanslar

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Yeşil Şebeke - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Enstitüsü - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

En Yeni Yapay Zeka Ürünlerini Resmi Yapay Zeka Asistanı Mağazasında Bulun

Hakkımızda