Bulut Bilişimde Yapay Zeka Nedir? [Video ve Test]

Kısa cevap: Bulut bilişimde yapay zeka, bulut platformlarını veri depolamak, işlem gücü kiralamak, modelleri eğitmek, bunları hizmet olarak dağıtmak ve üretimde izlemek için kullanmakla ilgilidir. Bu önemlidir çünkü çoğu hata matematiksel hesaplamalardan ziyade veri, dağıtım ve operasyonlarla ilgilidir. Hızlı ölçeklendirme veya tekrarlanabilir sürümler gerekiyorsa, bulut + MLOps pratik bir yoldur.

Önemli noktalar:

Yaşam döngüsü: Veri toplama, özellik geliştirme, eğitim, dağıtım ve ardından sapma, gecikme ve maliyeti izleme.

Yönetişim: Erişim kontrollerini, denetim kayıtlarını ve ortam ayrımını en başından itibaren entegre edin.

Tekrarlanabilirlik: Çalıştırmaların tekrarlanabilir kalması için veri sürümlerini, kodu, parametreleri ve ortamları kaydedin.

Maliyet kontrolü: Faturalarda ani artışları önlemek için toplu işlem, önbellekleme, otomatik ölçeklendirme sınırları ve anlık/önleyici eğitim kullanın.

Dağıtım modelleri: Ekip gerçekliğine bağlı olarak yönetilen platformlar, lakehouse iş akışları, Kubernetes veya RAG'den birini seçin.

Bu makaleden sonra okumak isteyebileceğiniz diğer makaleler:

🔗 En iyi yapay zeka bulut tabanlı işletme yönetimi araçları
Operasyonları, finansı ve ekipleri kolaylaştıran önde gelen bulut platformlarını karşılaştırın.

🔗 Büyük ölçekli üretken yapay zeka için gerekli teknolojiler
GenAI'nin devreye alınması için gereken temel altyapı, veri ve yönetişim.

🔗 Veri analizi için ücretsiz yapay zeka araçları
Veri kümelerini temizlemek, modellemek ve görselleştirmek için en iyi ücretsiz yapay zeka çözümleri.

🔗 Yapay zeka hizmeti nedir?
AIaaS'ı, faydalarını, fiyatlandırma modellerini ve yaygın iş kullanım senaryolarını açıklar.

---

Bulut Bilişimde Yapay Zeka: Basit Tanım 🧠☁️

Özünde, bulut bilişimde yapay zeka, bulut platformlarını kullanarak şunlara erişmek anlamına gelir:

• İşlem gücü (CPU'lar, GPU'lar, TPU'lar) Google Cloud: Yapay Zeka için GPU'lar Cloud TPU belgeleri

• Depolama (veri gölleri, veri ambarları, nesne depolama) AWS: Veri gölü nedir? AWS: Veri ambarı nedir? Amazon S3 (nesne depolama)

• Yapay zeka hizmetleri (model eğitimi, dağıtım, görüntü, konuşma, doğal dil işleme için API'ler) AWS yapay zeka hizmetleri Google Cloud yapay zeka API'leri

• MLOps araçları (işlem hatları, izleme, model kayıt defteri, makine öğrenimi için CI-CD) Google Cloud: MLOps nedir? Vertex AI Model Kayıt Defteri

Kendi pahalı ekipmanınızı satın almak yerine, ihtiyacınız olduğunda ihtiyacınız olanı kiralarsınız ( NIST SP 800-145). Tıpkı garajınıza bir spor salonu kurup sonra bir daha asla koşu bandını kullanmamak yerine, yoğun bir antrenman için bir spor salonu kiralamak gibi. En iyilerimizin bile başına gelir 😬

Basitçe ifade etmek gerekirse: NIST SP 800-145'e göre , bulut altyapısı üzerinden ölçeklenen, gönderilen, güncellenen ve işletilen yapay zekadır .

---

Yapay Zeka + Bulut Teknolojisinin Bu Kadar Önemli Olmasının Sebebi 🚀

Açık konuşalım - çoğu yapay zeka projesi matematiğin zor olmasından dolayı başarısız olmaz. Başarısız olmalarının nedeni, "modelin etrafındaki şeylerin" birbirine karışmasıdır:

• Veriler dağınık haldedir

• ortamlar uyuşmuyor

• Model birinin dizüstü bilgisayarında çalışıyor ama başka hiçbir yerde çalışmıyor

• Dağıtım, sonradan akla gelen bir şey gibi ele alınıyor

• Güvenlik ve uyumluluk, davetsiz bir kuzen gibi geç geliyor 😵

Bulut platformları şu nedenlerle faydalıdır:

1) Esnek terazi 📈

Büyük bir küme üzerinde bir modeli kısa bir süre eğitin, ardından kapatın (NIST SP 800-145).

2) Daha hızlı deneme ⚡

yönetilen not defterlerini, önceden oluşturulmuş işlem hatlarını ve GPU örneklerini hızla devreye alın : Yapay Zeka için GPU'lar.

3) Daha kolay kurulum 🌍

Modelleri API'ler, toplu işler veya gömülü hizmetler olarak dağıtın. Red Hat: REST API nedir? SageMaker Toplu Dönüştürme.

4) Entegre veri ekosistemleri 🧺

Veri işlem hatlarınız, veri ambarlarınız ve analizleriniz genellikle zaten AWS bulutunda yer almaktadır : Veri ambarı ve veri gölü karşılaştırması.

5) İşbirliği ve yönetişim 🧩

İzinler, denetim kayıtları, sürümleme ve paylaşılan araçlar , Azure ML kayıt defterlerine (MLOps) (bazen acı verici olsa da) entegre edilmiştir .

---

Bulut Bilişimde Yapay Zeka Uygulamada Nasıl Çalışır (Gerçek Akış) 🔁

İşte yaygın yaşam döngüsü. "Mükemmel şema" versiyonu değil... yaşanmış olan versiyonu.

Adım 1: Veriler bulut depolama alanına aktarılıyor 🪣

Örnekler: nesne depolama kovaları, veri gölleri, bulut veritabanları Amazon S3 (nesne depolama) AWS: Veri gölü nedir? Google Cloud Storage genel bakış.

Adım 2: Veri işleme + özellik oluşturma 🍳

Onu temizlersiniz, dönüştürürsünüz, özellikler eklersiniz, belki de yayınlarsınız.

3. Adım: Model eğitimi 🏋️

Yapay zekâ eğitiminde bulut bilişim (çoğunlukla GPU'lar) kullanıyorsunuz. Google Cloud: Yapay Zekâ için GPU'lar:

• klasik ML modelleri

• derin öğrenme modelleri

• temel model ince ayarları

• Arama sistemleri (RAG tarzı kurulumlar) Arama Destekli Üretim (RAG) makalesi

4. Adım: Dağıtım 🚢

Modeller şu yollarla paketlenip sunulmaktadır:

• REST API'leri : REST API nedir?

• Sunucusuz uç noktalar SageMaker Sunucusuz Çıkarım

• Kubernetes konteynerleri Kubernetes: Yatay Pod Otomatik Ölçeklendirme

• toplu çıkarım işlem hatları SageMaker Toplu Dönüştürme Vertex AI toplu tahminler

Adım 5: İzleme + güncellemeler 👀

İzlemek:

• gecikme

• doğruluk kayması SageMaker Model Monitörü

• Veri kayması Vertex Yapay Zeka Modeli İzleme

• tahmin başına maliyet

• "Bunun mümkün olmaması gerekirdi..." diye fısıldamanıza neden olan uç durumlar 😭

İşte bu motor. Bu, sadece bir tanım olarak değil, bulut bilişimde yapay zekanın hareket halindeki hali.

---

Bulut Bilişimde İyi Bir Yapay Zeka Sürümünü Ne Oluşturur? ✅☁️🤖

"İyi" bir uygulama (sadece gösterişli bir demo değil) istiyorsanız, şunlara odaklanın:

A) Görevlerin net bir şekilde ayrılması 🧱

• veri katmanı (depolama, yönetim)

• eğitim katmanı (deneyler, işlem hatları)

• Sunucu katmanı (API'ler, ölçeklendirme)

• İzleme katmanı (ölçümler, kayıtlar, uyarılar) SageMaker Model İzleyici

Her şey birbirine karışınca, hata ayıklama duygusal bir yıpranmaya dönüşür.

B) Varsayılan olarak tekrarlanabilirlik 🧪

İyi bir sistem, lafı dolandırmadan şunu söylemenizi sağlar:

• bu modeli eğiten veriler

• kod sürümü

• hiperparametreler

• çevre

Eğer cevabınız “Şey, sanırım Salı günkü koşuydu…” ise, zaten başınız dertte demektir 😅

C) Maliyet bilincine sahip tasarım 💸

Bulut yapay zekası güçlüdür, ancak aynı zamanda hayat seçimlerinizi sorgulamanıza neden olacak bir faturayı yanlışlıkla oluşturmanın en kolay yoludur.

İyi kurulumlar şunları içerir:

• Kubernetes'te otomatik ölçeklendirme : Yatay Pod Otomatik Ölçeklendirme

• örnek zamanlama

• Mümkün olduğunda spot öncelikli seçenekler: Amazon EC2 Spot Örnekleri, Google Cloud Öncelikli Sanal Makineler

• SageMaker Toplu Dönüştürme işleminde önbellekleme ve toplu çıkarım

D) Güvenlik ve uyumluluk entegre edilmiştir 🔐

Sızıntı yapan bir boruya bant yapıştırır gibi sonradan vidalanmış değil.

E) Prototip aşamasından seri üretime giden gerçek bir yol 🛣️

İşte asıl önemli nokta bu. Bulutta iyi bir yapay zeka "versiyonu", baştan itibaren MLOps, dağıtım modelleri ve izlemeyi içermelidir ( Google Cloud: MLOps nedir?). Aksi takdirde, süslü bir faturası olan bir bilim fuarı projesinden ibaret kalır.

---

Karşılaştırma Tablosu: Popüler Bulut Tabanlı Yapay Zeka Seçenekleri (Ve Kimler İçin Uygunlar) 🧰📊

Aşağıda hızlı ve biraz da öznel bir tablo var. Fiyatlar bilerek geniş aralıkta tutulmuştur çünkü bulut fiyatlandırması kahve siparişi vermek gibidir - temel fiyat asla nihai fiyat değildir 😵💫

Araç / Platform	Kitle	Fiyatı yaklaşık olarak	İşe yaramasının nedenleri (ilginç notlar dahil)
AWS SageMaker	ML ekipleri, işletmeler	Kullandıkça öde	Tam kapsamlı makine öğrenimi platformu - eğitim, uç noktalar, işlem hatları. Güçlü, ancak her yerde menüler var.
Google Vertex Yapay Zeka	ML ekipleri, veri bilimi kuruluşları	Kullandıkça öde	Güçlü yönetilen eğitim + model kayıt sistemi + entegrasyonlar. Tıklandığında sorunsuz çalışıyor.
Azure Makine Öğrenimi	Kurumsal şirketler, MS merkezli kuruluşlar	Kullandıkça öde	Azure ekosistemiyle sorunsuz çalışıyor. İyi yönetişim seçenekleri, birçok ayar imkanı sunuyor.
Databricks (ML + Lakehouse)	Veri mühendisliği ağırlıklı ekipler	Abonelik + kullanım	Veri işleme hatlarını ve makine öğrenimini tek bir yerde birleştirmek için harika. Genellikle uygulamalı ekipler tarafından tercih edilir.
Snowflake yapay zeka özellikleri	Analitik odaklı kuruluşlar	Kullanıma dayalı	Dünyanız zaten bir depodaysa iyi. "Makine öğrenimi laboratuvarı"ndan ziyade "SQL benzeri yapay zeka"
IBM Watsonx	Düzenlemeye tabi sektörler	Kurumsal fiyatlandırma	Yönetişim ve kurumsal kontroller büyük önem taşımaktadır. Genellikle politika ağırlıklı sistemler için tercih edilirler.
Yönetilen Kubernetes (DIY ML)	Platform mühendisleri	Değişken	Esnek ve kişiye özel. Ayrıca... kırıldığında acısını da siz çekeceksiniz 🙃
Sunucusuz çıkarım (fonksiyonlar + uç noktalar)	Ürün ekipleri	Kullanıma dayalı	Yoğun trafik dalgalanmaları için ideal. Soğuk başlatmaları ve gecikmeleri çok dikkatli izleyin.

Burada önemli olan "en iyisini" seçmek değil, takımınızın gerçekliğine uygun olanı seçmektir. İşte asıl sır bu.

---

Bulut Bilişimde Yapay Zekanın Yaygın Kullanım Alanları (Örneklerle) 🧩✨

Bulut tabanlı yapay zeka sistemlerinin öne çıktığı noktalar şunlardır:

1) Müşteri destek otomasyonu 💬

• sohbet asistanları

• bilet yönlendirme

• özetleme

• Duygu ve niyet tespiti Bulut Doğal Dil API'si

2) Öneri sistemleri 🛒

• ürün önerileri

• içerik akışları

• “İnsanlar ayrıca şunları da satın aldı”
  Bu tür ürünler genellikle ölçeklenebilir çıkarım ve neredeyse gerçek zamanlı güncellemeler gerektirir.

3) Sahtekarlık tespiti ve risk puanlaması 🕵️

Bulut teknolojisi, ani veri akışlarını, olay akışlarını ve topluluk uygulamalarını yönetmeyi kolaylaştırır.

4) Belge zekası 📄

• OCR işlem hatları

• varlık çıkarımı

• sözleşme analizi

• Fatura ayrıştırma Snowflake Cortex Yapay Zeka Fonksiyonları
  Birçok kuruluşta, zamanın sessizce geri verildiği yer burasıdır.

5) Tahmin ve beceri odaklı optimizasyon 📦

Talep tahmini, envanter planlaması, rota optimizasyonu. Bulut teknolojisi, verilerin büyük olması ve yeniden eğitimin sık sık yapılması nedeniyle faydalı oluyor.

6) Üretken Yapay Zeka Uygulamaları 🪄

• içerik taslağı oluşturma

• kod yardımı

• dahili bilgi botları (RAG)

• Sentetik veri üretimi , Veri Erişimi Destekli Üretim (RAG) makalesi.
  Şirketlerin sonunda "Veri erişim kurallarımızın nerede olduğunu bilmemiz gerekiyor." dediği an genellikle budur. 😬

---

Her Yerde Göreceğiniz Mimari Desenler 🏗️

Model 1: Yönetilen Makine Öğrenimi Platformu ("daha az baş ağrısı istiyoruz" yaklaşımı) 😌

• veri yükle

• Yönetilen işlerle ilgili eğitim alın

• Yönetilen uç noktalara dağıtın

• Platform kontrol panellerinde izleme: SageMaker Model Monitor, Vertex AI Model Monitor

Hızın önemli olduğu ve sıfırdan dahili araçlar geliştirmek istemediğiniz durumlarda iyi sonuç verir.

Model 2: Göl Evi + Makine Öğrenimi (veri odaklı yaklaşım) 🏞️

• veri mühendisliği + makine öğrenimi iş akışlarını birleştirin

• Verilere yakın bir şekilde not defterleri, işlem hatları ve özellik mühendisliği çalışmaları yürütün

• Büyük analitik sistemlerde zaten faaliyet gösteren kuruluşlar için güçlü bir çözüm: Databricks Lakehouse

Model 3: Kubernetes Üzerinde Konteynerleştirilmiş Makine Öğrenimi ("kontrol bizde" yaklaşımı) 🎛️

• konteynerlerdeki paket modelleri

• Kubernetes'te otomatik ölçeklendirme politikalarıyla ölçeklendirme : Yatay Pod Otomatik Ölçeklendirme

• servis ağı, gözlemlenebilirlik ve gizlilik yönetimi entegrasyonu

Diğer bir adı: "Kendimize güveniyoruz ve ayrıca garip saatlerde hata ayıklamayı seviyoruz."

Desen 4: RAG (Geri Alma Destekli Üretim) ("bilginizi kullanın" yolu) 📚🤝

• bulut depolamada bulunan belgeler

• gömülü vektörler + vektör deposu

• Veri alma katmanı, modele bağlam sağlar

• Güvenlik bariyerleri + erişim kontrolü + kayıt tutma Geri Alma Destekli Üretim (RAG) makalesi

Bu, modern bulut tabanlı yapay zeka tartışmalarının önemli bir parçası çünkü birçok gerçek işletme üretken yapay zekayı nispeten güvenli bir şekilde bu şekilde kullanıyor.

---

MLOps: Herkesin Hafife Aldığı Kısım 🧯

Bulutta yapay zekanın üretim ortamında düzgün çalışmasını istiyorsanız, MLOps'a ihtiyacınız var. Bunun nedeni moda olması değil; modellerin sapması, verilerin değişmesi ve kullanıcıların en kötü şekilde yaratıcı olmasıdır . Google Cloud: MLOps nedir?

Önemli parçalar:

• Deney takibi: Neler işe yaradı, neler yaramadı MLflow Takibi

• Model kayıt defteri: Onaylanmış modeller, sürümler, meta veriler MLflow Model Kayıt Defteri Vertex AI Model Kayıt Defteri

• Makine Öğrenimi için CI-CD: test + dağıtım otomasyonu Google Cloud MLOps (CD ve otomasyon)

• Özellik deposu: Eğitim ve çıkarım boyunca tutarlı özellikler SageMaker Özellik Deposu

• İzleme: performans kayması, sapma sinyalleri, gecikme, maliyet SageMaker Model İzleme Vertex AI Model İzleme

• Geri alma stratejisi: evet, tıpkı normal yazılımlar gibi.

Bunu görmezden gelirseniz, her şeyin canlı olduğu, hiçbir şeyin etiketlenmediği ve kapıyı açmaktan korktuğunuz bir "örnek hayvanat bahçesi" 🦓 elde edersiniz.

---

Güvenlik, Gizlilik ve Uyumluluk (Eğlenceli Kısım Değil Ama… Evet) 🔐😅

Bulut bilişimde yapay zeka, bazı tartışmalı soruları gündeme getiriyor:

Veri erişim kontrolü 🧾

Eğitim verilerine kimler erişebilir? Çıkarım kayıtlarına? İstemilere? Çıktılara?

Şifreleme ve sırlar 🗝️

Anahtarlar, belirteçler ve kimlik bilgileri düzgün bir şekilde ele alınmalıdır. "Yapılandırma dosyasında" olması, ele alma anlamına gelmez.

İzolasyon ve kiracılık 🧱

Bazı kuruluşlar geliştirme, test ve üretim için ayrı ortamlara ihtiyaç duyar. Bulut teknolojisi yardımcı olur, ancak yalnızca doğru şekilde kurulursa.

Denetlenebilirlik 📋

Düzenlemeye tabi kuruluşların genellikle şunları göstermesi gerekir:

• Hangi veriler kullanıldı?

• kararların nasıl alındığı

• kim neyi konuşlandırdı

• IBM watsonx.governance değiştiğinde

Model risk yönetimi ⚠️

Bunlara şunlar dahildir:

• önyargı kontrolleri

• düşmanca test

• (Üretken yapay zeka için) hızlı enjeksiyon savunmaları

• güvenli çıkış filtreleme

Bütün bunlar şu noktaya geri dönüyor: Bu sadece "çevrimiçi olarak barındırılan yapay zeka" değil. Gerçek kısıtlamalar altında işletilen yapay zeka.

---

Maliyet ve Performans İpuçları (Sonradan Pişman Olmamanız İçin) 💸😵💫

İşte denenmiş ve onaylanmış birkaç ipucu:

• İhtiyacı karşılayan en küçük modeli kullanın.
  Daha büyük her zaman daha iyi anlamına gelmez. Bazen sadece... daha büyük olması gerekir.

• Mümkün olduğunda toplu çıkarım yapın.
  Daha ucuz ve daha verimli SageMaker Toplu Dönüştürme.

• Özellikle tekrarlanan sorgular ve gömme işlemleri için önbelleğe almayı agresif bir şekilde gerçekleştirin
  

• Otomatik ölçeklendirme, ancak bir sınır koyun.
  Sınırsız ölçeklendirme, sınırsız harcama anlamına gelebilir. Kubernetes: Yatay Pod Otomatik Ölçeklendirme. Nasıl bildiğimi sormayın... doğrusu, sormayın 😬

• Uç nokta ve özellik başına maliyeti takip edin,
  aksi takdirde yanlış şeyi optimize edersiniz.

• Eğitim amaçlı spot-preemptible işlem gücü kullanın.
  Eğitim işleriniz kesintileri kaldırabiliyorsa büyük tasarruf sağlar. Amazon EC2 Spot Instances Google Cloud Preemptible VMs.

---

İnsanların Yaptığı Hatalar (Akıllı Takımlar Bile) 🤦♂️

• Bulut yapay zekasını "sadece bir model takın" şeklinde ele almak

• Veri kalitesini son dakikaya kadar göz ardı etmek

• SageMaker Model Monitor'ü izlemeden bir modeli göndermek

• Yeniden eğitim sıklığı planlanmıyor. Google Cloud: MLOps nedir?

• Lansman haftasına kadar güvenlik ekiplerinin varlığını unutmak 😬

• Baştan itibaren aşırı mühendislik (bazen basit bir temel çözüm işe yarar)

Ayrıca, sessizce acımasız bir gerçek: ekipler, kullanıcıların gecikmeden ne kadar nefret ettiğini hafife alıyor. Biraz daha az doğru ama hızlı bir model genellikle kazanıyor. İnsanlar sabırsız küçük mucizelerdir.

---

Önemli Noktalar 🧾✅

Bulut Bilişimde Yapay Zeka, bulut altyapısını kullanarak yapay zeka oluşturma ve çalıştırmanın tüm uygulamasıdır; ölçeklenebilir eğitim, basitleştirilmiş dağıtım, veri işlem hatlarının entegrasyonu ve MLOps, güvenlik ve yönetişim ile modellerin operasyonel hale getirilmesi. Google Cloud: MLOps Nedir? NIST SP 800-145.

Kısaca özetleyelim:

• Bulut, yapay zekaya ölçeklenebilirlik ve dağıtım için gerekli altyapıyı sağlıyor 🚀 NIST SP 800-145

• Yapay zeka, bulut tabanlı iş yüklerine kararları otomatikleştiren "beyinler" kazandırıyor 🤖

• Sihir sadece eğitimde değil, dağıtımda, izlemede ve yönetimde de yatıyor 🧠🔐 SageMaker Model Monitor

• Platform seçimini pazarlama karmaşasına göre değil, takım ihtiyaçlarına göre yapın 📌

• Maliyetleri ve operasyonları, gözlük takmış bir şahin gibi dikkatle izleyin 🦅👓 (kötü bir benzetme ama anladınız sanırım)

Eğer buraya "Bulut bilişimde yapay zeka sadece bir model API'si" diye düşünerek geldiyseniz, hayır - bu bütün bir ekosistem. Bazen zarif, bazen çalkantılı, bazen de aynı öğleden sonra her ikisi birden olabiliyor.

Gerçek dünya örneği: Bulut tabanlı yapay zeka destekli bilet önceliklendirme asistanı oluşturmak 🎫☁️

Senaryo

40 kişilik bir SaaS şirketinin haftada yaklaşık 180 müşteri destek talebi aldığını düşünün. Destek ekibi bir yardım masası aracı kullanıyor, ancak her Pazartesi sabahı birinin yine de yeni talepleri okuması, kategoriyi belirlemesi, aciliyeti ayarlaması, müşterinin ücretli bir planda olup olmadığını kontrol etmesi ve sorunu faturalandırma, ürün, mühendislik veya genel destek birimine yönlendirmesi gerekiyor.

Şirketin devasa bir yapay zeka sistemine ihtiyacı yok. Biletleri sınıflandırabilen, sorunu özetleyebilen, sonraki adımı önerebilen ve riskli durumları insan incelemesi için işaretleyebilen küçük bir bulut tabanlı yapay zeka iş akışına ihtiyacı var.

Pratik bir kurulum şu şekilde olabilir:

Biletler her saat başı bulut depolama alanına aktarılıyor

Sunucusuz bir işlem, bilet metnini temizler ve gereksiz kişisel verileri kaldırır

Bir sınıflandırma modeli veya barındırılan dil modeli bileti etiketler

Sonuçlar yardım masası sistemine geri yazılır

Bir kontrol paneli gecikme süresini, güvenilirlik puanlarını, yönlendirme doğruluğunu ve bilet başına maliyeti takip eder

Önemli nokta şu: Yapay zeka destek ekibinin yerini almıyor. Tekrarlayan sıralama işlerini azaltarak insanların asıl sorunu çözmeye daha fazla zaman ayırmasını sağlıyor.

Asistanın ihtiyaç duyduğu şeyler

Bunun başarılı olması için ekip şu hazırlıkları yapmalıdır:

Fatura, Giriş, Hata, Özellik İsteği, İptal, Güvenlik ve Genel gibi bilet kategorilerinin bir listesi

Her kategori için 20-50 adet gerçek geçmiş bilet örneği

her departman için yönlendirme kuralları

"Güvenlik sorunu = acil" veya "kurumsal müşteri kesintisi = acil" gibi öncelik kuralları

Asistanın asla yapmaması gereken şeylerin kısa bir listesi; örneğin para iadesi sözü vermek, yasal bir hata kabul etmek veya hesap ayarlarını değiştirmek gibi

Erişim kontrolleri sayesinde yapay zeka iş akışı yalnızca gerçekten ihtiyaç duyduğu bilet alanlarını görür

belirsiz durumlar için yedek bir kural

Basit bir yedek kural şöyle olabilir:

Güvenirlik oranı %80'in altındaysa veya bilette yasal, güvenlik, iade, iptal, veri ihlali veya tıbbi/mali zarar gibi konular geçiyorsa, otomatik yönlendirme yerine insan bir inceleyiciye gönderin.

Örnek talimat

Siz, bir B2B SaaS şirketinde destek talebi önceliklendirme asistanısınız.

Müşteri mesajını okuyun ve yanıtlayın:

1. Sorunun tek cümlelik özeti

2. Bu listeden bir kategori: Faturalama, Giriş, Hata, Özellik İsteği, İptal, Güvenlik, Genel

3. Öncelik: Düşük, Orta, Yüksek veya Acil

4. Bu işi en iyi halledecek ekip: Destek, Faturalama, Ürün, Mühendislik, Güvenlik veya Müşteri Başarısı

5. İnsan incelemesi gerekli mi: Evet veya Hayır

6. Kararınızın kısa bir gerekçesi

Tüzük:

Para iadesi sözü vermeyin.
Yasal veya güvenlik sorumluluğu konusunda teşhis koymayın.
Hesap bilgilerini uydurmayın.
Mesaj net değilse, Genel'i seçin ve insan incelemesi isteyin.
Müşteri veri ifşası, hesap ele geçirilmesi, ödeme hatası veya hizmet kesintisi gibi durumlardan bahsediyorsa, insan incelemesi isteyin.

Nasıl test edilir?

Üretim aşamasına geçmeden önce, az sayıda gerçek veya anonimleştirilmiş tarihi biletle test edin.

Geçmişteki 100 bileti kullanarak, asistanın belirlediği rotayı ekibin orijinal rota kararıyla karşılaştırın.

Kontrol etmek:

İnsan etiketine uyan kaç kategori var?

Kaç acil bilet doğru şekilde üst kademeye iletildi?

Kaç tane düşük öncelikli bilet yanlışlıkla acil olarak işaretlendi?

Hassas biletlerin insan incelemesine gönderilip gönderilmediği

bilet başına ortalama işlem süresi

100 bilet başına maliyet

Ardından düzensiz örneklerle ikinci bir test yapın:

Bir müşteri tamamen büyük harflerle yazıyor

Bir destek talebi aynı anda üç sorunu içeriyor

Mesaj yalnızca iki kelimeden oluşuyor, örneğin "Giriş yapamıyorum"

Bir kullanıcı para iadesi talep ediyor ve yasal işlem başlatmakla tehdit ediyor

Bir müşteri olası bir güvenlik olayını bildirdi

Bu testler önemlidir çünkü temiz demo biletleri oluşturmak kolaydır. Gerçek kullanıcılar düzensiz, yetersiz bağlamlı ve tahmin edilemez noktalama işaretleriyle yazarlar.

Sonuç

Örnek sonuç: Bu iş akışını kullanmadan önce ve sonra beş aşamalı manuel triyaj örneğinin zamanlamasına dayanmaktadır.

Manuel işlem:

Haftada 180 bilet.
Ortalama manuel değerlendirme süresi: Bilet başına 2 dakika 30 saniye.
Toplam değerlendirme süresi: Haftada 450 dakika veya 7,5 saat.

Bulut yapay zeka destekli süreç:

Ortalama yapay zeka işlem süresi: bilet başına 10 saniyeden az.
İşaretlenen biletler için ortalama insan inceleme süresi: 1 dakika 30 saniye.
İnsan inceleme oranı: biletlerin %25'i.
Tahmini haftalık önceliklendirme süresi: 67,5 dakika.

Bu da haftada yaklaşık 6,4 saatlik bir zaman tasarrufu anlamına geliyor.

Doğruluk ayrı olarak ölçülmelidir. Gerçekçi bir testte, ekip şu şekilde bir fırlatma kuralı belirleyebilir:

İnsan etiketleriyle en az %90 kategori eşleşmesi

Güvenlikle ilgili biletlerin %100'ü insan incelemesine gönderiliyor

Biletlerin %5'inden azı yanlış departmana yönlendiriliyor

bilet başına ortalama maliyet 0,05 £'un altında

Eğer asistan test setinde bu rakamlara ulaşamazsa, canlı biletleri otomatik olarak yönlendirmek yerine inceleme modunda kalmalıdır.

Neler ters gidebilir?

En sık karşılaşılan hata, belirsiz kategorilerdir. Eğer "Hata", "Teknik Sorun" ve "Ürün Problemi" aşağı yukarı aynı anlama geliyorsa, asistan tutarsız bir şekilde sınıflandırma yapacaktır.

Bir diğer risk ise aşırı otomasyondur. "Hesabıma başka biri erişti" şeklinde bir şikayet, normal bir giriş sorunu gibi gelişigüzel bir şekilde ele alınmamalıdır. Bu tür bir şikayetin üst kademeye iletilmesi, kayıt altına alınması ve muhtemelen bir güvenlik iş akışına tabi tutulması gerekir.

Yanlış kayıt tutma, gizlilik sorunlarına da yol açabilir. İstemi mesajları, bilet metinleri, model çıktıları ve hata izleri hassas müşteri verileri içerebilir. Yalnızca gerekli olanı saklayın, erişimi kısıtlayın ve saklama kuralları belirleyin.

Maliyet de artabilir. Her bilet daha küçük bir sınıflandırıcı yeterliyken büyük bir modele gönderilirse, sistem gereksiz yere pahalı hale gelir. En küçük ve güvenilir seçenekle başlayın, ardından doğruluğun gerçekten arttığı yerlerde yükseltme yapın.

Pratik çıkarımlar

İyi bir bulut yapay zeka kurulumu küçük adımlarla başlar: tek bir iş akışı, net kurallar, test verileri, insan incelemesi ve ölçülebilir hedefler. Destek önceliklendirmesi için kazanım "yapay zeka her şeyi halleder" değildir. Kazanım, daha hızlı sıralama, daha az acil biletin gözden kaçması, daha temiz aktarımlar ve ekibin körü körüne güvenmek yerine izleyebileceği bir sistemdir.

SSS

“Bulut bilişimde yapay zeka”nın günlük hayattaki anlamı nedir?

Bulut bilişimde yapay zeka, donanıma sahip olmadan veri depolamak, işlem gücü (CPU/GPU/TPU) oluşturmak, modelleri eğitmek, dağıtmak ve izlemek için bulut platformlarını kullanmanız anlamına gelir. Pratikte, bulut tüm yapay zeka yaşam döngünüzün gerçekleştiği yer haline gelir. İhtiyaç duyduğunuzda gerekeni kiralarsınız, işiniz bittiğinde ise ölçeği küçültürsünüz.

Bulut tabanlı altyapı ve MLOps olmadan yapay zeka projeleri neden başarısız oluyor?

Çoğu başarısızlık modelin içinde değil, modelin çevresinde meydana gelir: tutarsız veriler, uyumsuz ortamlar, kırılgan dağıtımlar ve izleme eksikliği. Bulut araçları, depolama, işlem ve dağıtım modellerini standartlaştırmaya yardımcı olur, böylece modeller "benim dizüstü bilgisayarımda çalıştı" durumunda takılıp kalmaz. MLOps ise eksik olan bağlantıyı sağlar: izleme, kayıt defterleri, işlem hatları ve geri alma işlemleri sayesinde sistem tekrarlanabilir ve sürdürülebilir kalır.

Bulut bilişimde yapay zekanın tipik iş akışı, veriden üretime kadar

Yaygın bir iş akışı şöyledir: Veriler bulut depolama alanına iner, özelliklere işlenir, ardından modeller ölçeklenebilir işlem gücünde eğitilir. Daha sonra, bir API uç noktası, toplu iş, sunucusuz kurulum veya Kubernetes hizmeti aracılığıyla dağıtım yapılır. Son olarak, gecikme, sapma ve maliyet izlenir ve ardından yeniden eğitim ve daha güvenli dağıtımlarla iyileştirmeler yapılır. Gerçek işlem hatlarının çoğu, bir kez gönderim yapmak yerine sürekli olarak döngü halinde çalışır.

SageMaker, Vertex AI, Azure ML, Databricks ve Kubernetes arasında seçim yapmak

Seçiminizi ekibinizin gerçekliğine göre yapın, "en iyi platform" pazarlama söylemlerine göre değil. Yönetilen makine öğrenimi platformları (SageMaker/Vertex AI/Azure ML), eğitim işleri, uç noktalar, kayıt defterleri ve izleme ile ilgili operasyonel sorunları azaltır. Databricks genellikle, makine öğrenimini işlem hatlarına ve analitiklere yakın tutmak isteyen veri mühendisliği ağırlıklı ekipler için uygundur. Kubernetes maksimum kontrol ve özelleştirme sağlar, ancak güvenilirlik, ölçeklendirme politikaları ve bir şeyler bozulduğunda hata ayıklama da size aittir.

Günümüzde yapay zeka bulut kurulumlarında en sık görülen mimari kalıplar

Sürekli olarak dört kalıp göreceksiniz: hız için yönetilen makine öğrenimi platformları, veri odaklı kuruluşlar için lakehouse + makine öğrenimi, kontrol için Kubernetes üzerinde konteynerleştirilmiş makine öğrenimi ve "dahili bilgilerimizi güvenli bir şekilde kullanmak" için RAG (geri alma ile güçlendirilmiş üretim). RAG genellikle bulut depolamada belgeler, gömülü veriler + vektör deposu, bir geri alma katmanı ve günlük kaydı içeren erişim kontrolleri içerir. Seçtiğiniz kalıp, yönetişim ve operasyon olgunluğunuza uygun olmalıdır.

Ekipler bulut yapay zeka modellerini nasıl dağıtıyor: REST API'leri, toplu işler, sunucusuz mimari veya Kubernetes

REST API'ler, ürün gecikmesinin önemli olduğu durumlarda gerçek zamanlı tahminler için yaygındır. Toplu çıkarım, özellikle sonuçların anında alınması gerekmediğinde, planlı puanlama ve maliyet verimliliği için mükemmeldir. Sunucusuz uç noktalar, ani trafik artışları için iyi çalışabilir, ancak soğuk başlatmalar ve gecikmeye dikkat edilmelidir. Kubernetes, ince taneli ölçeklendirme ve platform araçlarıyla entegrasyon gerektiğinde idealdir, ancak operasyonel karmaşıklığı artırır.

Yapay zeka sistemlerinin sağlıklı kalması için üretimde nelere dikkat edilmeli?

En azından gecikme süresini, hata oranlarını ve tahmin başına maliyeti izleyerek güvenilirlik ve bütçenin görünür kalmasını sağlayın. Makine öğrenimi tarafında ise, model altında gerçekliğin ne zaman değiştiğini yakalamak için veri kaymasını ve performans kaymasını izleyin. Özellikle kullanıcıların yaratıcı bir şekilde düşmanca davranabileceği üretken kullanım durumları için uç durumları ve kötü çıktıları kaydetmek de önemlidir. İyi bir izleme, modeller gerilediğinde geri alma kararlarını da destekler.

Bulut yapay zeka maliyetlerini performanstan ödün vermeden düşürmek

Yaygın bir yaklaşım, gereksinimi karşılayan en küçük modeli kullanmak ve ardından toplu işleme ve önbellekleme ile çıkarımı optimize etmektir. Otomatik ölçeklendirme yardımcı olur, ancak "esnek"in "sınırsız harcama" haline gelmemesi için sınırlamalara ihtiyaç duyar. Eğitim için, işleriniz kesintilere toleranslıysa, spot/öncelikli hesaplama çok tasarruf sağlayabilir. Uç nokta ve özellik başına maliyeti izlemek, sistemin yanlış bölümünü optimize etmenizi önler.

Bulutta yapay zeka ile ilgili en büyük güvenlik ve uyumluluk riskleri

En büyük riskler, kontrolsüz veri erişimi, zayıf gizlilik yönetimi ve kimin neyi eğittiği ve dağıttığına dair eksik denetim izleridir. Üretken yapay zeka, komut istemi enjeksiyonu, güvenli olmayan çıktılar ve hassas verilerin günlüklerde görünmesi gibi ek sorunlar yaratır. Birçok işlem hattı, ortam izolasyonuna (geliştirme/hazırlık/üretim) ve komut istemleri, çıktılar ve çıkarım günlükleri için net politikalara ihtiyaç duyar. En güvenli kurulumlar, yönetişimi lansman haftası yaması olarak değil, temel bir sistem gereksinimi olarak ele alır.

Referanslar

1. Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) - SP 800-145 (Son Sürüm) - csrc.nist.gov

2. Google Cloud - Yapay Zeka için GPU'lar - cloud.google.com

3. Google Cloud - Cloud TPU dokümantasyonu - docs.cloud.google.com

4. Amazon Web Services (AWS) - Amazon S3 (nesne depolama) - aws.amazon.com

5. Amazon Web Services (AWS) - Veri gölü nedir? - aws.amazon.com

6. Amazon Web Services (AWS) - Veri ambarı nedir? - aws.amazon.com

7. Amazon Web Services (AWS) - AWS Yapay Zeka Hizmetleri - aws.amazon.com

8. Google Cloud - Google Cloud Yapay Zeka API'leri - cloud.google.com

9. Google Cloud - MLOps Nedir? - cloud.google.com

10. Google Cloud - Vertex Yapay Zeka Model Kayıt Defteri (Giriş) - docs.cloud.google.com

11. Red Hat - REST API Nedir? - redhat.com

12. Amazon Web Services (AWS) Dokümantasyonu - SageMaker Toplu Dönüştürme - docs.aws.amazon.com

13. Amazon Web Services (AWS) - Veri ambarı, veri gölü ve veri pazarı karşılaştırması - aws.amazon.com

14. Microsoft Learn - Azure ML kayıt defterleri (MLOps) - learn.microsoft.com

15. Google Cloud - Google Cloud Storage'a genel bakış - docs.cloud.google.com

16. arXiv - Geri Alma Destekli Üretim (RAG) makalesi - arxiv.org

17. Amazon Web Services (AWS) Dokümantasyonu - SageMaker Sunucusuz Çıkarım - docs.aws.amazon.com

18. Kubernetes - Yatay Pod Otomatik Ölçeklendirme - kubernetes.io

19. Google Cloud - Vertex AI toplu tahminleri - docs.cloud.google.com

20. Amazon Web Services (AWS) Dokümantasyonu - SageMaker Model İzleme Aracı - docs.aws.amazon.com

21. Google Cloud - Vertex AI Model İzleme (Model izleme kullanımı) - docs.cloud.google.com

22. Amazon Web Services (AWS) - Amazon EC2 Spot Örnekleri - aws.amazon.com

23. Google Cloud - Öncelikli Sanal Makineler - docs.cloud.google.com

24. Amazon Web Services (AWS) Dokümantasyonu - AWS SageMaker: Nasıl Çalışır (Eğitim) - docs.aws.amazon.com

25. Google Cloud - Google Vertex AI - cloud.google.com

26. Microsoft Azure - Azure Makine Öğrenimi - azure.microsoft.com

27. Databricks - Databricks Lakehouse - databricks.com

28. Snowflake Dokümantasyonu - Snowflake Yapay Zeka Özellikleri (Genel Bakış Kılavuzu) - docs.snowflake.com

29. IBM - IBM watsonx - ibm.com

30. Google Cloud - Cloud Doğal Dil API dokümantasyonu - docs.cloud.google.com

31. Snowflake Dokümantasyonu - Snowflake Cortex Yapay Zeka Fonksiyonları (Yapay Zeka SQL) - docs.snowflake.com

32. MLflow - MLflow Takip Sistemi - mlflow.org

33. MLflow - MLflow Model Kayıt Sistemi - mlflow.org

34. Google Cloud - MLOps: Makine öğreniminde sürekli teslimat ve otomasyon işlem hatları - cloud.google.com

35. Amazon Web Services (AWS) - SageMaker Özellik Mağazası - aws.amazon.com

36. IBM - IBM watsonx.governance - ibm.com

En Yeni Yapay Zeka Ürünlerini Resmi Yapay Zeka Asistanı Mağazasında Bulun

Hakkımızda