Edge AI Nedir?

Edge AI, zekayı verilerin doğduğu yerlere taşır. Kulağa hoş geliyor ama temel fikir basit: Düşünmeyi sensörün hemen yanında yapın, böylece sonuçlar daha sonra değil, şimdi ortaya çıksın. Bulutun her kararı beklemesine gerek kalmadan hız, güvenilirlik ve iyi bir gizlilik deneyimi elde edersiniz. Kısayollar ve yan görevler dahil, konuyu biraz daha açalım. 😅

Bu makaleden sonra okumak isteyebileceğiniz diğer makaleler:

🔗 Üretken yapay zeka nedir?
Üretken yapay zekanın açık bir şekilde açıklanması, nasıl çalıştığı ve pratik kullanımları.

🔗 Aracı AI nedir?
Aracı yapay zeka, otonom davranışlar ve gerçek dünya uygulama kalıplarına genel bakış.

🔗 Yapay zeka ölçeklenebilirliği nedir?
Yapay zeka sistemlerinin güvenilir, verimli ve uygun maliyetli bir şekilde nasıl ölçeklendirileceğini öğrenin.

🔗 Yapay zeka için bir yazılım çerçevesi nedir?
Yapay zeka yazılım çerçevelerinin dökümü, mimari avantajları ve uygulama temelleri.

Edge AI nedir? Kısa tanımı 🧭

Edge AI, veri toplayan cihazların (telefonlar, kameralar, robotlar, arabalar, giyilebilir cihazlar, endüstriyel kontrol cihazları vb.) üzerinde veya yakınında eğitilmiş makine öğrenimi modellerini çalıştırma uygulamasıdır. Ham verileri analiz için uzak sunuculara göndermek yerine, cihaz girdileri yerel olarak işler ve yalnızca özetler gönderir veya hiçbir şey göndermez. Daha az gidiş-dönüş, daha az gecikme, daha fazla kontrol. Temiz ve satıcıdan bağımsız bir açıklayıcı istiyorsanız, buradan başlayın. [1]

Edge AI'yı gerçekten yararlı kılan şey nedir? 🌟

• Düşük gecikme süresi - kararlar cihaz üzerinde gerçekleşir, bu nedenle nesne algılama, uyandırma sözcüğü tespiti veya anormallik uyarıları gibi algılama görevleri için yanıtlar anında verilir. [1]

• Konuma göre gizlilik - hassas veriler cihazda kalabilir, bu da maruziyeti azaltır ve veri en aza indirme tartışmalarına yardımcı olur. [1]

• Bant genişliği tasarrufu - ham akışlar yerine özellikler veya olaylar gönderin. [1]

• Dayanıklılık - Bağlantının zayıf olduğu zamanlarda işe yarar.

• Maliyet kontrolü - daha az bulut bilişim döngüsü ve daha düşük çıkış.

• Bağlam farkındalığı - cihaz çevreyi “hisseder” ve uyum sağlar.

Kısa bir anekdot: Bir perakende pilot uygulaması, sabit kamera yüklemelerini cihaz içi kişi-nesne sınıflandırmasıyla değiştirdi ve yalnızca saatlik sayımları ve istisna kliplerini yayınladı. Sonuç: Mağaza WAN sözleşmelerini değiştirmeden raf kenarında 200 ms'nin altında uyarılar ve uplink trafiğinde yaklaşık %90 düşüş. (Yöntem: yerel çıkarım, olay toplu işleme, yalnızca anomaliler.)

Edge AI ve bulut AI - hızlı karşılaştırma 🥊

• İşlemin gerçekleştiği yer : edge = cihaz üzerinde/cihaz yakınında; bulut = uzak veri merkezleri.

• Gecikme : edge ≈ gerçek zamanlı; bulutun gidiş-dönüşleri vardır.

• Veri hareketi : önce uç filtreleme/sıkıştırmayı gerçekleştirir; bulut tam doğrulukta yüklemeleri sever.

• Güvenilirlik : Edge çevrimdışı çalışmaya devam eder; bulutun bağlantıya ihtiyacı vardır.

• Yönetişim : Kenar, veri en aza indirilmesini destekler; bulut, denetimi merkezileştirir. [1]

İkisinden biri değil. Akıllı sistemler her ikisini de bir araya getiriyor: yerel olarak hızlı kararlar, daha derin analizler ve filo öğrenimi merkezi olarak. Hibrit çözüm sıkıcı ve doğru.

Edge AI perde arkasında nasıl çalışıyor?

1. Sensörler ham sinyalleri (ses kareleri, kamera pikselleri, IMU kayıtları, titreşim izleri) yakalar.

2. Ön işleme, bu sinyalleri model dostu özelliklere yeniden şekillendirir.

3. Çıkarım çalışma zamanı, mümkün olduğunda hızlandırıcıları kullanarak cihazda sıkıştırılmış bir modeli yürütür.

4. Son işlem, çıktıları olaylara, etiketlere veya kontrol eylemlerine dönüştürür.

5. Telemetri yalnızca yararlı olanları yükler: özetler, anomaliler veya periyodik geri bildirimler.

Cihazda göreceğiniz çalışma zamanları arasında Google LiteRT (eski adıyla TensorFlow Lite), ONNX Runtime ve Intel OpenVINO . Bu araç zincirleri, niceleme ve operatör birleştirme gibi hilelerle kısıtlı güç/bellek bütçelerinden verim sağlar. Temel bilgilere meraklıysanız, belgeleri sağlamdır. [3][4]

Nerede ortaya çıkıyor - işaret edebileceğiniz gerçek kullanım durumları 🧯🚗🏭

• Uçtaki görüş : kapı zili kameraları (insanlar ve evcil hayvanlar), perakendede raf tarama, kusurları tespit eden dronlar.

• Cihaz içi ses : uyandırma sözcükleri, dikte, tesislerde sızıntı tespiti.

• Endüstriyel IoT : Motorlar ve pompalar arızalanmadan önce titreşim anomalileri açısından izleniyor.

• Otomotiv : sürücü izleme, şerit tespiti, park asistanları-saniyenin altında veya altında.

• Sağlık : Giyilebilir cihazlar aritmileri yerel olarak işaretliyor; özetleri daha sonra senkronize ediyor.

• Akıllı telefonlar : fotoğraf iyileştirme, spam arama tespiti, "telefonum çevrimdışıyken bunu nasıl yaptı" anları.

Resmi tanımlar (ve "sis ve kenar" kuzen tartışması) için NIST kavramsal modeline bakın. [2]

Onu hızlı yapan donanım 🔌

Birkaç platformun adı sıkça geçiyor:

• NVIDIA Jetson - Robotlar/kameralar için GPU destekli modüller - Gömülü yapay zeka için İsviçre çakısı hissiyatı.

• Google Edge TPU + LiteRT - ultra düşük güç gerektiren projeler için verimli tam sayı çıkarımı ve kolaylaştırılmış çalışma zamanı. [3]

• Apple Neural Engine (ANE) - iPhone, iPad ve Mac için sıkı cihaz içi ML; Apple, transformatörleri ANE'de verimli bir şekilde dağıtmaya yönelik pratik çalışmalar yayınladı. [5]

• Intel CPU'ları/iGPU'ları/NPU'ları OpenVINO ile - Intel donanımlarında "bir kez yaz, her yere dağıt"; yararlı optimizasyon geçişleri.

• Her yerde ONNX Çalışma Zamanı - telefonlar, bilgisayarlar ve ağ geçitleri arasında takılabilir yürütme sağlayıcılarına sahip tarafsız bir çalışma zamanı. [4]

Hepsine ihtiyacınız var mı? Aslında hayır. Filonuza uygun güçlü bir yol seçin ve ona sadık kalın; çalışan kaybı, yerleşik ekiplerin düşmanıdır.

Yazılım yığını - kısa tur 🧰

• Model sıkıştırma : niceleme (genellikle int8'e), budama, damıtma.

• Operatör düzeyinde hızlandırma : silikonunuza göre ayarlanmış çekirdekler.

• Çalışma zamanları : LiteRT, ONNX Çalışma Zamanı, OpenVINO. [3] [4]

• Dağıtım sarmalayıcıları : kapsayıcılar/uygulama paketleri; bazen ağ geçitlerindeki mikro hizmetler.

• Edge için MLOps : OTA model güncellemeleri, A/B dağıtımı, telemetri döngüleri.

• Gizlilik ve güvenlik kontrolleri : cihaz içi şifreleme, güvenli önyükleme, doğrulama, güvenli bölgeler.

Mini vaka: Bir inceleme drone ekibi, LiteRT için ağır bir dedektörü niceliksel bir öğrenci modeline dönüştürdü ve ardından cihaz üzerinde NMS'yi birleştirdi. Daha düşük hesaplama çekişi sayesinde uçuş süresi yaklaşık %15 iyileşti; yükleme hacmi istisna çerçevelerine düştü. (Yöntem: sahada veri kümesi yakalama, niceliksel kalibrasyon sonrası, tam dağıtımdan önce gölge modu A/B.)

Karşılaştırma tablosu - popüler Edge AI seçenekleri 🧪

Gerçek konuşalım: Bu tablo, tıpkı gerçek dünya gibi, fikirlere dayalı ve biraz da karmaşık.

Edge AI yolu nasıl seçilir - küçük bir karar ağacı 🌳

• Hayatınızı gerçek zamanlı olarak mı planlıyorsunuz? Hızlandırıcılar ve nicemlenmiş modellerle başlayın.

• Birçok cihaz türü mü var? Taşınabilirlik için ONNX Runtime veya OpenVINO'yu tercih edin. [4]

• Mobil uygulama mı gönderiliyor? LiteRT en az dirençli yoldur. [3]

• Robotik mi yoksa kamera analitiği mi? Jetson'ın GPU dostu operasyonları zamandan tasarruf sağlar.

• Sıkı gizlilik duruşu mu? Verileri yerel tutun, hareketsizken şifreleyin, ham çerçeveleri değil, toplamları kaydedin.

• Küçük bir ekip misiniz? Egzotik araç zincirlerinden kaçının; sıkıcı olan güzeldir.

• Modeller sık ​​sık değişecek mi? OTA ve telemetriyi ilk günden planlayın.

Riskler, sınırlamalar ve sıkıcı ama önemli kısımlar 🧯

• Model kayması - ortamlar değişir; dağılımları izleyin, gölge modlarını çalıştırın, periyodik olarak yeniden eğitin.

• Hesaplama tavanları - sıkı bellek/güç daha küçük modeller veya gevşek doğruluk gerektirir.

• Güvenlik - fiziksel erişimi varsayın; güvenli önyükleme, imzalanmış eserler, onaylama, en az ayrıcalıklı hizmetleri kullanın.

• Veri yönetimi - yerel işleme yardımcı olur, ancak yine de onaya, saklamaya ve kapsamlı telemetriye ihtiyacınız vardır.

• Filo operasyonları - cihazlar en kötü zamanlarda çevrimdışı olur; ertelenmiş güncellemeler ve devam ettirilebilir yüklemeler tasarlayın.

• Yetenek karışımı - gömülü + ML + DevOps karma bir ekiptir; erken dönemde çapraz eğitim alın.

Faydalı bir şey sunmak için pratik bir yol haritası 🗺️

1. bir kullanım durumu seçin - Hat 3'te kusur tespiti, akıllı hoparlörde uyandırma kelimesi vb.

2. Hedef ortamı yansıtan düzenli bir veri seti toplayın

3. Üretim donanımına yakın bir geliştirme setinde prototip

4. Modeli niceleme/budama ile sıkıştırın; doğruluk kaybını dürüstçe ölçün. [3]

5. Çıkarımı, geri basınç ve bekçi köpekleri ile temiz bir API'ye sarın ; çünkü cihazlar sabah 2'de kilitleniyor

6. Gizliliğe saygılı telemetri tasarlayın

7. Güvenliği güçlendirin : imzalı ikili dosyalar, güvenli önyükleme, minimum düzeyde açık servisler.

8. OTA Planı : kademeli dağıtımlar, kanaryalar, anında geri alma.

9. Pilot ilk önce çetrefilli bir köşe vakasında hayatta kalırsa, her yerde hayatta kalır.

10. Bir oyun kitabıyla ölçeklendirme : Modelleri nasıl ekleyeceğinizi, anahtarları nasıl döndüreceğinizi, verileri nasıl arşivleyeceğinizi - böylece 2. projeniz kaos olmasın.

SSS - Edge AI nedir ❓

Edge AI, yalnızca küçük bir bilgisayarda küçük bir modeli mi çalıştırıyor?
Çoğunlukla evet, ancak boyut her şey değil. Aynı zamanda gecikme bütçeleri, gizlilik vaatleri ve yerel olarak hareket ederken küresel olarak öğrenen birçok cihazı düzenlemekle de ilgili. [1]

Edge'de de antrenman yapabilir miyim?
Hafif cihaz içi antrenman/kişiselleştirme mevcut; daha ağır antrenmanlar ise merkezi olarak çalıştırılıyor. Maceracıysanız ONNX Runtime, cihaz içi antrenman seçeneklerini belgeliyor. [4]

Edge AI ile sis bilişim arasındaki fark nedir?
Sis ve uç kuzenlerdir. Her ikisi de, bazen yakındaki ağ geçitleri aracılığıyla, veri kaynaklarına daha yakın bir hesaplama sağlar. Resmi tanımlar ve bağlam için NIST'e bakın. [2]

Edge AI gizliliği her zaman iyileştirir mi?
Yardımcı olur, ama sihirli bir etkisi yoktur. Yine de en aza indirmeye, güvenli güncelleme yollarına ve dikkatli günlük kaydına ihtiyacınız var. Gizliliği bir onay kutusu olarak değil, bir alışkanlık olarak ele alın.

Gerçekten okuyabileceğiniz derin dalışlar 📚

1) Doğruluğu bozmayan model optimizasyonu

Nicemleme hafızayı azaltabilir ve işlemleri hızlandırabilir, ancak temsili verilerle kalibre edin, aksi takdirde model trafik konilerinin olduğu yerde sincaplar görebilir. Damıtma - öğretmenin daha küçük bir öğrenciye rehberlik etmesi - genellikle semantiği korur. [3]

2) Uygulamada kenar çıkarım çalışma süreleri

LiteRT'nin yorumlayıcısı, çalışma zamanında kasıtlı olarak statik olmayan bellek dönüşümü sağlar. ONNX Runtime, yürütme sağlayıcıları aracılığıyla farklı hızlandırıcılara bağlanır. Hiçbiri kesin çözüm değildir; ikisi de sağlam çekiçlerdir. [3][4]

3) Doğada sağlamlık

Isı, toz, dengesiz güç, özensiz Wi-Fi: Boru hatlarını yeniden başlatan, kararları önbelleğe alan ve ağ geri geldiğinde uzlaştıran bekçi köpekleri oluşturun. Dikkat çekmekten daha az gösterişli - ama daha hayati.

Toplantılarda tekrarlayacağınız cümle - Edge AI nedir 🗣️

Edge AI, gecikme, gizlilik, bant genişliği ve güvenilirlik gibi pratik kısıtlamaları karşılamak için zekayı verilere yaklaştırır. Sihir tek bir çip veya çerçevede değil; neyin nerede hesaplanacağını akıllıca seçmekte yatar.

Son Sözler - Çok Uzun, Okumadım 🧵

Edge AI, modelleri verilerin yakınında çalıştırarak ürünlerin hızlı, gizli ve sağlam hissetmesini sağlar. Her iki dünyanın da en iyisini elde etmek için yerel çıkarımı bulut denetimiyle harmanlayacaksınız. Cihazlarınıza uygun bir çalışma zamanı seçin, mümkün olduğunda hızlandırıcılardan yararlanın, modelleri sıkıştırmayla düzenli tutun ve filo operasyonlarını işiniz buna bağlıymış gibi tasarlayın; çünkü, eh, bağlı olabilir. Birisi " Edge AI nedir?" , "yerel olarak, zamanında alınan akıllı kararlar" deyin. Sonra gülümseyin ve konuyu pillere çevirin. 🔋🙂

Referanslar

1. IBM - Edge AI nedir? (tanım, faydaları).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Sis Bilişim Kavramsal Modeli (sis/kenar için resmi bağlam).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (eski adıyla TensorFlow Lite) (çalışma zamanı, niceleme, geçiş).
   https://ai.google.dev/edge/litert

4. ONNX Çalışma Zamanı - Cihaz Üzerinde Eğitim (taşınabilir çalışma zamanı + uç cihazlarda eğitim).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Apple Makine Öğrenmesi Araştırması - Apple Neural Engine'de Transformatörlerin Dağıtılması (ANE verimlilik notları).
   https://machinelearning.apple.com/research/neural-engine-transformers

En Yeni Yapay Zeka Ürünlerini Resmi Yapay Zeka Asistanı Mağazasında Bulun

Hakkımızda