Bir demo modelinin küçük bir test yükünü ezip gerçek kullanıcılar ortaya çıktığı anda donmasını izlediyseniz, asıl kötü adamla tanışmışsınız demektir: ölçekleme. Yapay zeka, veri, işlem, bellek, bant genişliği ve tuhaf bir şekilde dikkat için açgözlüdür. Peki, Yapay Zeka Ölçeklenebilirliği gerçekte nedir ve her hafta her şeyi yeniden yazmadan bunu nasıl elde edersiniz?
Bu makaleden sonra okumak isteyebileceğiniz diğer makaleler:
🔗 Yapay zekâ önyargısı nedir, basitçe açıklanmış haliyle?
Gizli önyargıların yapay zeka kararlarını ve model sonuçlarını nasıl şekillendirdiğini öğrenin.
🔗 Başlangıç rehberi: Yapay zeka nedir?
Yapay zekaya genel bakış, temel kavramlar, türler ve günlük uygulamalar.
🔗 Açıklanabilir yapay zeka nedir ve neden önemlidir?
Açıklanabilir yapay zekanın şeffaflığı, güveni ve düzenlemelere uyumu nasıl artırdığını keşfedin.
🔗 Tahmin edici yapay zeka nedir ve nasıl çalışır?
Tahmine dayalı yapay zekayı, yaygın kullanım durumlarını, faydalarını ve sınırlamalarını anlayın.
Yapay Zeka Ölçeklenebilirliği Nedir? 📈
Yapay Zeka Ölçeklenebilirliği, bir yapay zeka sisteminin performans, güvenilirlik ve maliyetleri kabul edilebilir sınırlar içinde tutarken daha fazla veri, istek, kullanıcı ve kullanım senaryosunu yönetebilme yeteneğidir. Sadece daha büyük sunucular değil, aynı zamanda eğri yükseldikçe gecikmeyi düşük, verimi yüksek ve kaliteyi tutarlı tutan daha akıllı mimariler de önemlidir. Esnek altyapı, optimize edilmiş modeller ve size neyin önemli olduğunu gerçekten söyleyen gözlemlenebilirlik düşünün.
İyi Yapay Zeka Ölçeklenebilirliğini Ne Sağlar? ✅
Yapay Zeka Ölçeklenebilirliği iyi yapıldığında şunları elde edersiniz:
-
Ani veya sürekli yük altında tahmin edilebilir gecikme
-
Eklenen donanım veya kopyalarla orantılı olarak büyüyen verim
-
Talep başına artmayan maliyet etkinliği
-
Girdi çeşitlendikçe ve hacimler arttıkça kalite istikrarı
-
Otomatik ölçeklendirme, izleme ve makul SLO'lar sayesinde operasyonel sakinlik
Perdenin altında bu genellikle yatay ölçeklemeyi, toplu işlemeyi, önbelleğe almayı, nicelemeyi, sağlam hizmeti ve hata bütçelerine bağlı düşünceli sürüm politikalarını bir araya getirir [5].
Yapay Zeka Ölçeklenebilirliği, Performans ve Kapasite 🧠
-
Performans, tek bir isteğin izole bir şekilde ne kadar hızlı tamamlandığıdır.
-
Kapasite, aynı anda kaç tane isteği karşılayabileceğinizi ifade eder.
-
Yapay Zeka Ölçeklenebilirliği, kaynak eklemenin veya daha akıllı tekniklerin kullanılmasının, faturanızı veya çağrı cihazınızı şişirmeden kapasiteyi artırması ve performansı tutarlı tutması anlamına gelir.
Küçük bir fark, büyük sonuçlar.
Yapay zekada ölçeklendirmenin işe yaramasının nedeni: Ölçekleme yasaları fikri 📚
, model boyutunu, verileri ve hesaplamayı ölçeklendirdikçe kaybın öngörülebilir şekillerde (makul ölçülerde) iyileştiğidir hesaplama açısından en uygun denge vardır ; ikisini birlikte ölçeklendirmek, yalnızca birini ölçeklendirmekten daha iyidir. Uygulamada, bu fikirler eğitim bütçelerini, veri kümesi planlamasını ve hizmet ödünleşimlerini bilgilendirir [4].
Hızlı çeviri: Daha büyük daha iyi olabilir, ancak yalnızca girdileri ölçeklendirip orantılı hesaplamalar yaptığınızda. Aksi takdirde, bisiklete traktör lastiği takmaya benzer. Yoğun görünür, ancak hiçbir yere varamaz.
Yatay ve dikey: iki ölçekleme kolu 🔩
-
Dikey ölçekleme : daha büyük kutular, daha güçlü GPU'lar, daha fazla bellek. Basit, bazen pahalı. Tek düğümlü eğitim, düşük gecikmeli çıkarım veya modeliniz düzgün bir şekilde parçalanmayı reddettiğinde idealdir.
-
Yatay ölçekleme otomatik ölçekleyicilerle en iyi şekilde çalışır . Kubernetes'te HorizontalPodAutoscaler, kapsülleri talebe göre ölçeklendirir; trafik artışları için temel kalabalık kontrolünüzdür [1].
Anekdot (bileşik): Dikkat çeken bir lansman sırasında, sunucu tarafı toplu işlemeyi etkinleştirmek ve otomatik ölçekleyicinin kuyruk derinliğine tepki vermesine izin vermek, p95'i istemcide herhangi bir değişiklik yapmadan stabilize etti. Gösterişsiz zaferler yine de zaferdir.
Yapay Zeka Ölçeklenebilirliğinin tam yığını 🥞
-
Veri katmanı : Eğitmenlerinizi kısıtlamayacak hızlı nesne depoları, vektör indeksleri ve akış alımı.
-
Eğitim katmanı : Veri/model paralelliğini, kontrol noktalarını ve yeniden denemeleri işleyen dağıtılmış çerçeveler ve zamanlayıcılar.
-
Hizmet katmanı : optimize edilmiş çalışma zamanları, dinamik toplu işleme , sayfalanmış dikkat , önbelleğe alma, belirteç akışı. Triton ve vLLM burada sık sık görülen kahramanlardır [2][3].
-
Orkestrasyon : HPA veya özel otomatik ölçekleyiciler aracılığıyla esneklik için Kubernetes [1].
-
Gözlemlenebilirlik : Kullanıcı yolculuklarını takip eden ve üretimdeki davranışları modelleyen izler, ölçümler ve günlükler; bunları SLO'larınız etrafında tasarlayın [5].
-
Yönetim ve maliyet : istek başına ekonomi, bütçeler ve kontrolden çıkan iş yükleri için kapatma anahtarları.
Karşılaştırma tablosu: Yapay Zeka Ölçeklenebilirliği için araçlar ve kalıplar 🧰
Kasıtlı olarak biraz dengesiz - çünkü gerçek hayat öyle.
| Araç / Desen | Kitle | Fiyatı yaklaşık olarak | Neden işe yarıyor? | Notlar |
|---|---|---|---|---|
| Kubernetes + HPA | Platform ekipleri | Açık kaynak + altyapı | Metrikler yükseldikçe ölçekler yatay olarak ölçeklenir | Özel ölçümler altın değerindedir [1] |
| NVIDIA Triton | Çıkarım SRE | Ücretsiz sunucu; GPU $ | Dinamik toplu işleme, verimi artırır | config.pbtxt [2] aracılığıyla yapılandırın |
| vLLM (Sayfalanmış Dikkat) | LLM ekipleri | Açık kaynak | Verimli KV önbellek sayfalama yoluyla yüksek verim | Uzun istemler için harika [3] |
| ONNX Çalışma Zamanı / TensorRT | Mükemmeliyetçi inekler | Ücretsiz / satıcı araçları | Çekirdek düzeyindeki iyileştirmeler gecikmeyi azaltır | Dışa aktarma yolları karmaşık olabilir |
| RAG deseni | Uygulama ekipleri | Infra + endeks | Bilgiyi geri almaya aktarır; endeksi ölçeklendirir | Tazelik açısından mükemmel |
Derinlemesine inceleme 1: İbreyi hareket ettiren servis hileleri 🚀
-
Dinamik toplu işleme, küçük çıkarım çağrılarını sunucuda daha büyük toplu işlemlere ayırır ve istemci değişiklikleri olmadan GPU kullanımını önemli ölçüde artırır [2].
-
Sayfalanmış dikkat, KV önbelleklerini sayfalayarak bellekte çok daha fazla konuşmayı tutar ve bu da eşzamanlılık altında verimi artırır [3].
-
Aynı istemler veya yerleştirmeler için istek birleştirme ve önbelleğe alma,
-
Spekülatif kod çözme ve token akışı, duvar saati neredeyse hiç oynamasa bile algılanan gecikmeyi azaltır.
Derinlemesine inceleme 2: Model düzeyinde verimlilik - nicelleştirme, damıtma, budama 🧪
-
Nicemleme , belleği küçültmek ve çıkarımı hızlandırmak için parametre hassasiyetini azaltır (örneğin, 8 bit/4 bit); değişikliklerden sonra görev kalitesini her zaman yeniden değerlendirin.
-
Damıtma, bilgiyi büyük bir öğretmenden, donanımınızın gerçekten beğendiği daha küçük bir öğrenciye aktarır.
-
Yapılandırılmış budama, en az katkıda bulunan ağırlıkları/başları keser.
Dürüst olalım, bu biraz bavulunuzu küçültüp sonra tüm ayakkabılarınızın sığması konusunda ısrar etmeye benziyor. Bir şekilde, çoğunlukla sığıyor.
Derinlemesine inceleme 3: Gözyaşları olmadan veri ve eğitim ölçeklendirme 🧵
-
Deneyleri daha hızlı gönderebilmeniz için paralelliğin zorlu kısımlarını gizleyen dağıtılmış eğitim kullanın.
-
Ölçekleme yasalarını unutmayın : bütçeyi model boyutu ve belirteçler arasında dikkatlice ayırın; her ikisini birlikte ölçeklemek hesaplama açısından verimlidir [4].
-
Müfredat ve veri kalitesi, sonuçları çoğu zaman insanların kabul ettiğinden daha fazla etkiler. Daha iyi veriler bazen daha fazla veriden daha iyidir; daha büyük kümeyi sipariş etmiş olsanız bile.
Derinlemesine inceleme 4: Bilgi için ölçekleme stratejisi olarak RAG 🧭
Değişen gerçeklere ayak uydurmak için bir modeli yeniden eğitmek yerine, RAG çıkarım aşamasında bir geri alma adımı ekler. Modeli sabit tutabilir ve korpusunuz büyüdükçe indeksi ve geri alma araçlarını
Kendini amorti eden gözlemlenebilirlik 🕵️♀️
Göremediğiniz şeyi ölçekleyemezsiniz. İki temel unsur:
-
Kapasite planlama ve otomatik ölçeklendirme için ölçütler
-
izler . Ölçtüğünüz şeyi SLO'larınıza bağlayın, böylece panolar soruları bir dakikadan kısa sürede yanıtlar [5].
Gösterge panelleri soruları bir dakikadan kısa sürede yanıtladığında, insanlar onları kullanıyor. Yanıtlamadıklarında ise, yanıtlıyormuş gibi davranıyorlar.
Güvenilirlik sınırları: SLO'lar, hata bütçeleri, makul dağıtımlar 🧯
-
SLO'ları tanımlayın ve güvenilirliği yayın hızıyla dengelemek için hata bütçelerini
-
Trafik bölmelerinin arkasına konuşlandırın, kanaryalar yapın ve küresel geçişlerden önce gölge testleri yapın. Gelecekteki benliğiniz atıştırmalıklar gönderecektir.
Dram yaratmadan maliyet kontrolü 💸
Ölçeklendirme sadece teknik değil, aynı zamanda finansaldır. GPU saatlerini ve token'ları birim ekonomisiyle (1.000 token başına, yerleştirme başına, vektör sorgusu başına maliyet) birinci sınıf kaynaklar olarak değerlendirin. Bütçeler ve uyarılar ekleyin; bir şeyleri silmeyi kutlayın.
Yapay Zeka Ölçeklenebilirliğine Giden Basit Bir Yol Haritası 🗺️
-
p95 gecikmesi, kullanılabilirliği ve görev doğruluğu için SLO'larla başlayın
-
bir servis yığını seçin : Triton, vLLM veya eşdeğerleri [2][3].
-
Modeli optimize edin : yardımcı olduğu yerde niceliklendirin, daha hızlı çekirdekleri etkinleştirin veya belirli görevler için damıtın; kaliteyi gerçek değerlendirmelerle doğrulayın.
-
Esneklik için mimar : Doğru sinyaller, ayrı okuma/yazma yolları ve durumsuz çıkarım kopyaları içeren Kubernetes HPA [1].
-
Her hafta yeniden eğitmek yerine endeksinizi ölçeklendirebilmeniz için tazeliğin önemli olduğu durumlarda geri çağırmayı benimseyin
-
Maliyetle döngüyü kapatın : birim ekonomisini ve haftalık değerlendirmeleri oluşturun.
Yaygın arıza modları ve hızlı çözümler 🧨
-
Gecikme kötüyken GPU %30 kullanımda
-
Dinamik toplu işlemeyi açın , toplu işlem sınırlarını dikkatlice yükseltin ve sunucu eşzamanlılığını yeniden kontrol edin [2].
-
-
Uzun istemlerle verim düşüyor
-
Sayfalanmış dikkati destekleyen ve maksimum eşzamanlı dizileri ayarlayan bir servis kullanın [3].
-
-
Otomatik ölçekleyici kanatçıklar
-
Pencerelerle düzgün ölçümler; saf CPU yerine kuyruk derinliğine veya saniye başına özel jetonlara göre ölçekleme [1].
-
-
Lansmandan sonra maliyetler patlıyor
-
İstek düzeyinde maliyet ölçümleri ekleyin, güvenli olan yerlerde nicelemeyi etkinleştirin, en çok sorgulananları önbelleğe alın ve en kötü suçluları sınırlayın.
-
Yapay Zeka Ölçeklenebilirlik kılavuzu: hızlı kontrol listesi ✅
-
SLO'lar ve hata bütçeleri mevcuttur ve görünür durumdadır
-
Ölçümler: gecikme, tps, GPU belleği, toplu boyut, belirteç/sn, önbellek isabeti
-
Girişten modele ve işlem sonrasına kadar izler
-
Sunulan: toplu işlem açık, eşzamanlılık ayarlı, sıcak önbellekler
-
Model: yardımcı olduğu yerde niceliksel veya damıtılmış
-
Infra: HPA doğru sinyallerle yapılandırılmıştır
-
Bilgi tazeliği için geri alma yolu
-
Birim ekonomisi sıklıkla gözden geçirilir
Çok Uzun Okumadım ve Son Sözler 🧩
Yapay Zeka Ölçeklenebilirliği tek bir özellik veya gizli bir anahtar değildir. Bir desen dilidir: otomatik ölçekleyicilerle yatay ölçekleme, kullanım için sunucu tarafı toplu işlem, model düzeyinde verimlilik, bilgi aktarımı için geri alma ve lansmanları sıkıcı hale getiren gözlemlenebilirlik. Herkesin uyum içinde olmasını sağlamak için SLO'lar ve maliyet hijyeni ekleyin. İlk seferde mükemmel yapamazsınız -kimse yapamaz- ama doğru geri bildirim döngüleriyle sisteminiz gece 2'de o soğuk terleme hissi olmadan büyüyecektir 😅
Referanslar
[1] Kubernetes Belgeleri - Yatay Pod Otomatik Ölçekleme - devamını oku
[2] NVIDIA Triton - Dinamik Toplu İşleyici - devamını oku
[3] vLLM Belgeleri - Sayfalanmış Dikkat - devamını oku
[4] Hoffmann ve diğerleri (2022) - Hesaplama-Optimal Büyük Dil Modellerinin Eğitimi - devamını oku
[5] Google SRE Çalışma Kitabı - SLO'ları Uygulama - devamını oku