Bir demo modelinin küçük bir test yükünü ezip gerçek kullanıcılar ortaya çıktığı anda donmasını izlediyseniz, asıl kötü adamla tanışmışsınız demektir: ölçekleme. Yapay zeka, veri, işlem, bellek, bant genişliği ve tuhaf bir şekilde dikkat için açgözlüdür. Peki, Yapay Zeka Ölçeklenebilirliği gerçekte nedir ve her hafta her şeyi yeniden yazmadan bunu nasıl elde edersiniz?
Bu makaleden sonra okumak isteyebileceğiniz diğer makaleler:
🔗 Yapay zekâ önyargısı nedir, basitçe açıklanmış haliyle?
Gizli önyargıların yapay zeka kararlarını ve model sonuçlarını nasıl şekillendirdiğini öğrenin.
🔗 Başlangıç rehberi: Yapay zeka nedir?
Yapay zekaya genel bakış, temel kavramlar, türler ve günlük uygulamalar.
🔗 Açıklanabilir yapay zeka nedir ve neden önemlidir?
Açıklanabilir yapay zekanın şeffaflığı, güveni ve düzenlemelere uyumu nasıl artırdığını keşfedin.
🔗 Tahmin edici yapay zeka nedir ve nasıl çalışır?
Tahmine dayalı yapay zekayı, yaygın kullanım durumlarını, faydalarını ve sınırlamalarını anlayın.
Yapay Zeka Ölçeklenebilirliği Nedir? 📈
Yapay Zeka Ölçeklenebilirliği, bir yapay zeka sisteminin performansı, güvenilirliği ve maliyetleri kabul edilebilir sınırlar içinde tutarken daha fazla veri, istek, kullanıcı ve kullanım senaryosunu işleyebilme yeteneğidir. Sadece daha büyük sunucular değil; gecikmeyi düşük, verimliliği yüksek ve kaliteyi istikrarlı tutan daha akıllı mimariler. Esnek altyapı, optimize edilmiş modeller ve gerçekte neyin yanlış gittiğini gösteren gözlemlenebilirlik düşünün.
İyi Yapay Zeka Ölçeklenebilirliğini Ne Sağlar? ✅
Yapay Zeka Ölçeklenebilirliği iyi yapıldığında şunları elde edersiniz:
-
Ani veya sürekli yük altında öngörülebilir gecikme süresi 🙂
-
Eklenen donanım veya kopyalarla orantılı olarak büyüyen verim
-
Talep başına maliyetin artmaması, maliyet etkinliği
-
Girdi çeşitlendikçe ve hacimler arttıkça kalite istikrarı
-
Otomatik ölçeklendirme, izleme ve makul SLO'lar sayesinde operasyonel sakinlik
Perdenin altında bu genellikle yatay ölçeklemeyi, toplu işlemeyi, önbelleğe almayı, nicelemeyi, sağlam hizmeti ve hata bütçelerine bağlı düşünceli sürüm politikalarını bir araya getirir [5].
Yapay Zeka Ölçeklenebilirliği, Performans ve Kapasite 🧠
-
Performans, tek bir isteğin izole bir şekilde ne kadar hızlı tamamlandığıdır.
-
Kapasite, aynı anda kaç tane isteği karşılayabileceğinizi ifade eder.
-
Yapay Zeka Ölçeklenebilirliği, kaynak eklemenin veya daha akıllı tekniklerin kullanılmasının, faturanızı veya çağrı cihazınızı şişirmeden kapasiteyi artırması ve performansı tutarlı tutması anlamına gelir.
Küçük bir fark, büyük sonuçlar.
Yapay zekada ölçeklendirmenin işe yaramasının nedeni: Ölçekleme yasaları fikri 📚
Modern makine öğreniminde yaygın olarak kullanılan bir görüş , model boyutunu, veriyi ve hesaplamayı ölçeklendirdikçe kaybın tahmin edilebilir şekillerde iyileştiğidir -makul sınırlar içinde. Ayrıca model boyutu ve eğitim belirteçleri arasında hesaplama açısından en uygun denge vardır ; ikisini birlikte ölçeklendirmek, yalnızca birini ölçeklendirmekten daha iyidir. Pratikte, bu fikirler eğitim bütçelerini, veri kümesi planlamasını ve sunum ödünleşmelerini bilgilendirir [4].
Hızlı çeviri: Daha büyük daha iyi olabilir, ancak yalnızca girdileri ölçeklendirip orantılı hesaplamalar yaptığınızda. Aksi takdirde, bisiklete traktör lastiği takmaya benzer. Yoğun görünür, ancak hiçbir yere varamaz.
Yatay ve dikey: iki ölçekleme kolu 🔩
-
Dikey ölçekleme: daha büyük kutular, daha güçlü GPU'lar, daha fazla bellek. Basit, bazen pahalı. Tek düğümlü eğitim, düşük gecikmeli çıkarım veya modeliniz düzgün bir şekilde parçalanmayı reddettiğinde idealdir.
-
Yatay ölçekleme : daha fazla kopya. CPU/GPU veya özel uygulama metriklerine göre kapsülleri ekleyen veya kaldıran otomatik ölçekleyicilerle en iyi şekilde çalışır . Kubernetes'te HorizontalPodAutoscaler, kapsülleri talebe göre ölçeklendirir; trafik artışları için temel kalabalık kontrolünüzdür [1].
Anekdot (bileşik): Dikkat çeken bir lansman sırasında, sunucu tarafı toplu işlemeyi etkinleştirmek ve otomatik ölçekleyicinin kuyruk derinliğine tepki vermesine izin vermek, p95'i istemcide herhangi bir değişiklik yapmadan stabilize etti. Gösterişsiz zaferler yine de zaferdir.
Yapay Zeka Ölçeklenebilirliğinin tam yığını 🥞
-
Veri katmanı: Eğiticilerinizin performansını yavaşlatmayacak hızlı nesne depoları, vektör indeksleri ve akışlı veri alımı.
-
Eğitim katmanı: Veri/model paralelliğini, kontrol noktalarını ve yeniden denemeleri işleyen dağıtılmış çerçeveler ve zamanlayıcılar.
-
Hizmet katmanı: optimize edilmiş çalışma zamanları, dinamik toplu işleme, sayfalanmış dikkat , önbelleğe alma, belirteç akışı. Triton ve vLLM burada sık sık görülen kahramanlardır [2][3].
-
Orkestrasyon: HPA veya özel otomatik ölçekleyiciler aracılığıyla esneklik için Kubernetes [1].
-
Gözlemlenebilirlik: Kullanıcı yolculuklarını takip eden ve üretimdeki davranışları modelleyen izler, ölçümler ve günlükler; bunları SLO'larınız etrafında tasarlayın [5].
-
Yönetişim ve maliyet: talep başına ekonomi, bütçeler ve kontrolden çıkmış iş yükleri için acil durdurma mekanizmaları.
Karşılaştırma tablosu: Yapay Zeka Ölçeklenebilirliği için araçlar ve kalıplar 🧰
Kasıtlı olarak biraz dengesiz - çünkü gerçek hayat öyle.
| Araç / Desen | Kitle | Fiyatı yaklaşık olarak | Neden işe yarıyor? | Notlar |
|---|---|---|---|---|
| Kubernetes + HPA | Platform ekipleri | Açık kaynak + altyapı | Metrikler yükseldikçe ölçekler yatay olarak ölçeklenir | Özel ölçümler altın değerindedir [1] |
| NVIDIA Triton | Çıkarım SRE | Ücretsiz sunucu; GPU $ | Dinamik toplu işleme, verimi artırır | config.pbtxt [2] aracılığıyla yapılandırın |
| vLLM (Sayfalanmış Dikkat) | LLM ekipleri | Açık kaynak | Verimli KV önbellek sayfalama yoluyla yüksek verim | Uzun istemler için harika [3] |
| ONNX Çalışma Zamanı / TensorRT | Mükemmeliyetçi inekler | Ücretsiz / satıcı araçları | Çekirdek düzeyindeki iyileştirmeler gecikmeyi azaltır | Dışa aktarma yolları karmaşık olabilir |
| RAG deseni | Uygulama ekipleri | Infra + endeks | Bilgiyi geri almaya aktarır; endeksi ölçeklendirir | Tazelik açısından mükemmel |
Derinlemesine inceleme 1: İbreyi hareket ettiren servis hileleri 🚀
-
Dinamik toplu işleme, küçük çıkarım çağrılarını sunucuda daha büyük toplu işlemlere ayırır ve istemci değişiklikleri olmadan GPU kullanımını önemli ölçüde artırır [2].
-
Sayfalanmış dikkat, KV önbelleklerini sayfalayarak bellekte çok daha fazla konuşmayı tutar ve bu da eşzamanlılık altında verimi artırır [3].
-
Aynı istemler veya yerleştirmeler için birleştirme ve önbelleğe alma istekleri, yinelenen işlerden kaçınmayı sağlar
-
Spekülatif kod çözme ve token akışı, duvar saati neredeyse hiç oynamasa bile algılanan gecikmeyi azaltır.
Derinlemesine inceleme 2: Model düzeyinde verimlilik - nicelleştirme, damıtma, budama 🧪
-
Nicemleme , belleği küçültmek ve çıkarımı hızlandırmak için parametre hassasiyetini azaltır (örneğin, 8 bit/4 bit); değişikliklerden sonra görev kalitesini her zaman yeniden değerlendirin.
-
Damıtma, bilgiyi büyük bir öğretmenden, donanımınızın gerçekten beğendiği daha küçük bir öğrenciye aktarır.
-
Yapılandırılmış budama, en az katkıda bulunan ağırlıkları/başları keser.
Dürüst olalım, bu biraz bavulunuzu küçültüp sonra tüm ayakkabılarınızın sığması konusunda ısrar etmeye benziyor. Bir şekilde, çoğunlukla sığıyor.
Derinlemesine inceleme 3: Gözyaşları olmadan veri ve eğitim ölçeklendirme 🧵
-
Deneyleri daha hızlı gönderebilmeniz için paralelliğin zorlu kısımlarını gizleyen dağıtılmış eğitim kullanın.
-
Ölçekleme yasalarını unutmayın : bütçeyi model boyutu ve belirteçler arasında dikkatlice ayırın; her ikisini birlikte ölçeklemek hesaplama açısından verimlidir [4].
-
Müfredat ve veri kalitesi, insanların kabul ettiğinden daha fazla sonuçları etkiler. Daha iyi veri, bazen daha fazla veriden daha etkili olur; hatta daha büyük veri kümesini zaten sipariş etmiş olsanız bile.
Derinlemesine inceleme 4: Bilgi için ölçekleme stratejisi olarak RAG 🧭
Değişen gerçeklere ayak uydurmak için bir modeli yeniden eğitmek yerine, RAG çıkarım aşamasında bir geri alma adımı ekler. Modeli sabit tutabilir ve korpusunuz büyüdükçe indeksi ve geri alma araçlarını ölçeklendirebilirsiniz. Bu, bilgi yoğun uygulamalar için tam yeniden eğitimlerden daha zarif ve genellikle daha ucuzdur.
Kendini amorti eden gözlemlenebilirlik 🕵️♀️
Göremediğiniz şeyi ölçekleyemezsiniz. İki temel unsur:
-
Kapasite planlama ve otomatik ölçeklendirme için ölçütler : gecikme yüzdeleri, kuyruk derinlikleri, GPU belleği, toplu iş boyutları, belirteç verimi, önbellek isabet oranları.
-
izler . Ölçtüğünüz şeyi SLO'larınızla ilişkilendirin, böylece gösterge panoları soruları bir dakikadan kısa sürede yanıtlasın [5].
Gösterge panelleri soruları bir dakikadan kısa sürede yanıtladığında, insanlar onları kullanıyor. Yanıtlamadıklarında ise, yanıtlıyormuş gibi davranıyorlar.
Güvenilirlik sınırları: SLO'lar, hata bütçeleri, makul dağıtımlar 🧯
-
Gecikme, kullanılabilirlik ve sonuç kalitesi için SLO'ları tanımlayın ve güvenilirliği yayın hızıyla dengelemek için hata bütçelerini kullanın [5].
-
Trafik bölmelerinin arkasına konuşlandırın, kanaryalar yapın ve küresel geçişlerden önce gölge testleri yapın. Gelecekteki benliğiniz atıştırmalıklar gönderecektir.
Dram yaratmadan maliyet kontrolü 💸
Ölçeklendirme sadece teknik değil, aynı zamanda finansaldır. GPU saatlerini ve token'ları birim ekonomisiyle (1.000 token başına, yerleştirme başına, vektör sorgusu başına maliyet) birinci sınıf kaynaklar olarak değerlendirin. Bütçeler ve uyarılar ekleyin; bir şeyleri silmeyi kutlayın.
Yapay Zeka Ölçeklenebilirliğine Giden Basit Bir Yol Haritası 🗺️
-
p95 gecikmesi, kullanılabilirliği ve görev doğruluğu için SLO'larla başlayın ; birinci günden itibaren ölçümleri/izleri bağlayın [5].
-
bir servis yığını seçin : Triton, vLLM veya eşdeğerleri [2][3].
-
Modeli optimize edin: yardımcı olduğu yerde niceliklendirin, daha hızlı çekirdekleri etkinleştirin veya belirli görevler için damıtın; kaliteyi gerçek değerlendirmelerle doğrulayın.
-
Esneklik için mimar: Doğru sinyaller, ayrı okuma/yazma yolları ve durumsuz çıkarım kopyaları içeren Kubernetes HPA [1].
-
Her hafta yeniden eğitmek yerine endeksinizi ölçeklendirebilmeniz için tazeliğin önemli olduğu durumlarda geri çağırmayı benimseyin .
-
Maliyetle döngüyü kapatın: birim ekonomisini ve haftalık değerlendirmeleri oluşturun.
Yaygın arıza modları ve hızlı çözümler 🧨
-
Gecikme kötüyken GPU %30 kullanımda
-
Dinamik toplu işlemeyi açın , toplu işlem sınırlarını dikkatlice yükseltin ve sunucu eşzamanlılığını yeniden kontrol edin [2].
-
-
Uzun istemlerle verim düşüyor
-
Sayfalanmış dikkati destekleyen ve maksimum eşzamanlı dizileri ayarlayan bir servis kullanın [3].
-
-
Otomatik ölçekleyici kanatçıklar
-
Pencerelerle düzgün ölçümler; saf CPU yerine kuyruk derinliğine veya saniye başına özel jetonlara göre ölçekleme [1].
-
-
Lansmandan sonra maliyetler patlıyor
-
İstek düzeyinde maliyet ölçümleri ekleyin, güvenli olan yerlerde nicelemeyi etkinleştirin, en çok sorgulananları önbelleğe alın ve en kötü suçluları sınırlayın.
-
Yapay Zeka Ölçeklenebilirlik kılavuzu: hızlı kontrol listesi ✅
-
SLO'lar ve hata bütçeleri mevcuttur ve görünür durumdadır
-
Ölçümler: gecikme, tps, GPU belleği, toplu boyut, belirteç/sn, önbellek isabeti
-
Girişten modele ve işlem sonrasına kadar izler
-
Sunulan: toplu işlem açık, eşzamanlılık ayarlı, sıcak önbellekler
-
Model: yardımcı olduğu yerde niceliksel veya damıtılmış
-
Infra: HPA doğru sinyallerle yapılandırılmıştır
-
Bilgi tazeliği için geri alma yolu
-
Birim ekonomisi sıklıkla gözden geçirilir
Çok Uzun Okumadım ve Son Sözler 🧩
Yapay Zeka Ölçeklenebilirliği tek bir özellik veya gizli bir düğme değil. Bu bir kalıp dilidir: otomatik ölçekleyicilerle yatay ölçeklendirme, kullanım için sunucu tarafı toplu işleme, model düzeyinde verimlilik, bilgi yükünü azaltmak için veri alma ve devreye alımları sıkıcı hale getiren gözlemlenebilirlik. Herkesin aynı doğrultuda kalması için SLO'ları ve maliyet hijyenini de ekleyin. İlk seferde mükemmel olmayacak -kimse olmaz- ancak doğru geri bildirim döngüleriyle sisteminiz gece 2'de o soğuk terleme hissini yaşamadan büyüyecektir 😅
Referanslar
[1] Kubernetes Belgeleri - Yatay Pod Otomatik Ölçekleme - devamını oku
[2] NVIDIA Triton - Dinamik Toplu İşleyici - devamını oku
[3] vLLM Belgeleri - Sayfalanmış Dikkat - devamını oku
[4] Hoffmann ve diğerleri (2022) - Hesaplama-Optimal Büyük Dil Modellerinin Eğitimi - devamını oku
[5] Google SRE Çalışma Kitabı - SLO'ları Uygulama - devamını oku