Yapay Zeka Veri Seti Nedir?

Yapay zeka sistemleri oluşturuyor, satın alıyor veya değerlendiriyorsanız, yanıltıcı derecede basit bir soruyla karşılaşacaksınız: Yapay zeka veri kümesi nedir ve neden bu kadar önemlidir? Kısaca: Modeliniz için yakıt, yemek tarifi ve bazen de pusuladır.

Bu makaleden sonra okumak isteyebileceğiniz diğer makaleler:

🔗 Yapay zeka trendleri nasıl tahmin ediyor?
Yapay zekanın gelecekteki olayları ve davranışları tahmin etmek için kalıpları nasıl analiz ettiğini araştırıyor.

🔗 Yapay zeka performansı nasıl ölçülür?
Doğruluk, verimlilik ve model güvenilirliğini değerlendirmeye yönelik ölçütler ve yöntemler.

🔗 Yapay zeka ile nasıl konuşulur
Yapay zeka tarafından üretilen yanıtları iyileştirmek için daha iyi etkileşimler oluşturmaya yönelik rehberlik.

🔗 Yapay zeka neyi teşvik ediyor?
İstemlerin yapay zeka çıktılarını ve genel iletişim kalitesini nasıl şekillendirdiğine dair genel bakış.

Yapay Zeka Veri Seti Nedir? Kısa bir tanım 🧩

Yapay zeka veri kümesi nedir? Modelinizin öğrendiği veya değerlendirildiği örneklerden oluşan bir koleksiyondur

Girdiler - modelin gördüğü özellikler, örneğin metin parçacıkları, resimler, ses, tablo satırları, sensör okumaları, grafikler.
Hedefler - modelin tahmin etmesi gereken etiketler veya sonuçlar, örneğin kategoriler, sayılar, metin aralıkları, eylemler veya bazen hiçbir şey.
Meta veri - kaynak, toplama yöntemi, zaman damgaları, lisanslar, onay bilgileri ve kaliteyle ilgili notlar gibi bağlam.

Bunu modeliniz için özenle hazırlanmış bir beslenme kutusu gibi düşünün: İçindekiler, etiketler, besin değerleri ve evet, "bu kısmı yemeyin" yazan yapışkan not. 🍱

Gözetimli görevler için, girişleri açık etiketlerle eşleştirilmiş olarak görürsünüz. Gözetimsiz görevler için, girişleri etiketsiz olarak görürsünüz. Takviyeli öğrenmede, veriler genellikle durumlar, eylemler ve ödüller içeren bölümler veya yörüngeler gibi görünür. Çok modlu çalışmalar için, örnekler tek bir kayıtta metin + resim + sesi birleştirebilir. Kulağa hoş geliyor; çoğunlukla tesisat işi.

Yararlı temel bilgiler ve uygulamalar: Veri Setleri için Veri Sayfaları fikri, ekiplerin içerikte ne olduğunu ve nasıl kullanılması gerektiğini açıklamasına yardımcı olur [1] ve Model Kartları, model tarafındaki veri dokümantasyonunu tamamlar [2].

İyi Bir Yapay Zeka Veri Kümesini Ne Oluşturur? ✅

Dürüst olalım, birçok modelin başarılı olmasının sebebi veri setinin çok da kötü olmamasıdır. "İyi" bir veri seti:

Sadece laboratuvar koşullarını değil, gerçek kullanım durumlarını temsil eder
Doğru bir şekilde etiketlenmiş , net yönergeler ve periyodik değerlendirmeler. Anlaşma ölçütleri (örneğin, kappa tarzı ölçümler) tutarlılık kontrolünde akıl sağlığının korunmasına yardımcı olur.
eksiksiz ve dengeli . Dengesizlik normaldir; ihmalkarlık değil.
Menşei açık , onay, lisans ve izinler belgelenmiş. Sıkıcı evrak işleri, heyecan verici davaların önüne geçiyor.
Amaçlanan kullanım, sınırlar ve bilinen arıza modlarını açıklayan veri kartları veya veri sayfaları kullanılarak iyi belgelenmiştir
yönetilir . Veri setini yeniden üretemezseniz, modeli de yeniden üretemezsiniz. NIST'in Yapay Zeka Risk Yönetimi Çerçevesi'nin , veri kalitesi ve dokümantasyonu birinci sınıf kaygılar olarak ele alınır [3].

Yaptığınız işe göre AI Veri Kümesi Türleri 🧰

Göreve göre

Sınıflandırma - örneğin, spam ve spam olmayan, resim kategorileri.
Regresyon - Fiyat veya sıcaklık gibi sürekli bir değeri tahmin edin.
Dizi etiketleme - adlandırılmış varlıklar, sözcük türleri.
Oluşturma - özetleme, çeviri, resim altyazısı oluşturma.
Öneri - kullanıcı, öğe, etkileşimler, bağlam.
Anomali tespiti - zaman serilerinde veya kayıtlarda nadir görülen olaylar.
Takviyeli öğrenme - durum, eylem, ödül, sonraki durum dizileri.
Geri çağırma - belgeler, sorgular, alaka yargıları.

Modaliteye göre

Tablo - yaş, gelir, müşteri kaybı gibi sütunlar. Az bilinen, acımasızca etkili.
Metin - belgeler, sohbetler, kodlar, forum yazıları, ürün açıklamaları.
Resimler - fotoğraflar, tıbbi taramalar, uydu döşemeleri; maskeli veya maskesiz, kutular, anahtar noktalar.
Ses - dalga biçimleri, transkriptler, konuşmacı etiketleri.
Video - kareler, zamansal açıklamalar, eylem etiketleri.
Grafikler - düğümler, kenarlar, nitelikler.
Zaman serileri - sensörler, finans, telemetri.

Denetimle

Etiketli (altın, gümüş, otomatik etiketli), zayıf etiketli , etiketsiz , sentetik . Mağazadan satın alınan kek karışımları iyi olabilir - eğer kutuyu okursanız.

Kutunun içinde: yapı, bölmeler ve meta veriler 📦

Sağlam bir veri seti genellikle şunları içerir:

Şema - yazılan alanlar, birimler, izin verilen değerler, boş değer işleme.
Bölmeler - eğitim, doğrulama, test. Test verilerini mühürlü tutun; ona çikolatanın son parçası gibi davranın.
Örnekleme planı - popülasyondan örnekleri nasıl çektiğiniz; bir bölge veya cihazdan kolay örneklemelerden kaçının.
Artırmalar - çevirmeler, kırpmalar, gürültü, parafrazlar, maskeler. Dürüst olduklarında iyiler; doğada asla gerçekleşmeyecek kalıplar icat ettiklerinde zararlılar.
Sürümleme - v0.1, v0.2 veri seti… değişiklik günlükleriyle birlikte deltaları açıklıyor.
Lisanslar ve onay - kullanım hakları, yeniden dağıtım ve silme akışları. Ulusal veri koruma düzenleyicileri (örneğin, Birleşik Krallık ICO), pratik ve yasal işleme kontrol listeleri sağlar [4].

Veri kümesi yaşam döngüsü, adım adım 🔁

Kararı tanımlayın - model neye karar verecek ve yanlışsa ne olacak?
Kapsam özellikleri ve etiketleri - ölçülebilir, gözlemlenebilir, toplanması etiktir.
Kaynak veriler - araçlar, kayıtlar, anketler, kamu kuruluşları, ortaklar.
Onay ve yasal - gizlilik bildirimleri, vazgeçmeler, veri en aza indirme. "Neden" ve "nasıl" için düzenleyici kılavuzuna bakın [4].
Topla ve sakla - güvenli depolama, rol tabanlı erişim, PII işleme.
Etiket - dahili açıklayıcılar, kitle kaynak kullanımı, uzmanlar; altın görevler, denetimler ve anlaşma ölçümleriyle kaliteyi yönetin.
Temizle ve normalleştir - tekrarları kaldır, eksiklikleri gider, birimleri standartlaştır, kodlamayı düzelt. Sıkıcı, kahramanca bir iş.
Böl ve doğrula - sızıntıyı önle; ilgili yerlerde katmanlaştır; zamansal veriler için zamana duyarlı bölmeleri tercih et; ve sağlam tahminler için çapraz doğrulamayı dikkatli bir şekilde kullan [5].
Belge - veri sayfası veya veri kartı; amaçlanan kullanım, uyarılar, sınırlamalar [1].
İzleme ve güncelleme - kayma tespiti, yenileme hızı, gün batımı planları. NIST'in AI RMF'si bu devam eden yönetişim döngüsünü çerçeveler [3].

Hızlı, gerçek dünyaya uygun bir ipucu: Ekipler genellikle "demoyu kazanır" ancak veri kümeleri sessizce değiştiği için üretimde tökezlerler - yeni ürün grupları, yeniden adlandırılmış bir alan veya değiştirilmiş bir politika. Basit bir değişiklik günlüğü ve periyodik olarak yeniden açıklama geçişi, bu sıkıntının çoğunu önler.

Veri kalitesi ve değerlendirmesi - kulağa geldiği kadar sıkıcı değil 🧪

Kalite çok boyutludur:

Doğruluk - etiketler doğru mu? Anlaşma ölçütlerini ve periyodik kararları kullanın.
Tamlık - Gerçekten ihtiyaç duyduğunuz alanları ve dersleri kapsayın.
Tutarlılık - Benzer girdiler için çelişkili etiketlerden kaçının.
Zamanındalık - bayat veriler varsayımları fosilleştirir.
Adalet ve önyargı - demografik özellikler, diller, cihazlar ve ortamlar genelinde kapsam; tanımlayıcı denetimlerle başlayıp ardından stres testleri. Dokümantasyon odaklı uygulamalar (veri sayfaları, model kartları) bu kontrolleri görünür kılar [1] ve yönetişim çerçeveleri bunları risk kontrolleri olarak vurgular [3].

uygun bölmeleri kullanın ve hem ortalama metrikleri hem de en kötü grup metriklerini izleyin. Parlak bir ortalama, bir krateri gizleyebilir. Çapraz doğrulamanın temelleri, standart ML araç belgelerinde ayrıntılı olarak ele alınmıştır [5].

Etik, gizlilik ve lisanslama - sınırlar 🛡️

Etik veri bir his değil, bir süreçtir:

Onay ve amaç sınırlaması - kullanımlar ve yasal dayanaklar konusunda açık olun [4].
Kişisel Bilgi Yönetimi - uygun şekilde en aza indirin, takma ad kullanın veya anonimleştirin; riskler yüksek olduğunda gizliliği artıran teknolojileri göz önünde bulundurun.
Atıf ve lisanslar - benzer paylaşım ve ticari kullanım kısıtlamalarına saygı gösterin.
Önyargı ve zarar - sahte korelasyonlar için denetim ("gün ışığı = güvenli" geceleri çok kafa karıştırıcı olacaktır).
Düzeltme - istek üzerine verilerin nasıl kaldırılacağını ve bunlar üzerinde eğitilen modellerin nasıl geri alınacağını öğrenin (bunu veri sayfanıza belgelendirin) [1].

Ne kadar büyük yeterince büyük? Boyutlandırma ve sinyal-gürültü oranı 📏

Pratik kural: Daha fazla örnek, alakalı olduklarında ve neredeyse aynı olmadıklarında genellikle işe yarar . , dağlarca dağınık örnek yerine daha az, daha temiz ve daha iyi etiketlenmiş kullanmak daha iyidir

Dikkat edilmesi gerekenler:

Öğrenme eğrileri - Veriye mi yoksa modele mi bağlı olduğunuzu görmek için performansı örneklem büyüklüğüne göre grafiklendirin.
Uzun kuyruklu kapsam - nadir ancak kritik sınıflar genellikle daha fazla topluluğa değil, hedeflenen toplamaya ihtiyaç duyar.
Etiket gürültüsü - ölçün, sonra azaltın; birazı tolere edilebilir, bir dalga ise değil.
Dağıtım kayması - bir bölge veya kanaldan gelen eğitim verileri başka bir bölgeye veya kanala genelleştirilemeyebilir; hedef benzeri test verileri üzerinde doğrulama yapın [5].

Şüpheye düştüğünüzde, küçük pilot denemeler yapın ve genişletin. Bu, baharat eklemek gibidir; ekleyin, tadına bakın, ayarlayın, tekrarlayın.

Veri kümeleri nerede bulunur ve yönetilir 🗂️

Popüler kaynaklar ve araçlar (şu anda URL'leri ezberlemenize gerek yok):

Hugging Face Veri Kümeleri - programatik yükleme, işleme, paylaşım.
Google Veri Seti Araması - web genelinde meta arama.
UCI ML Deposu - temel seviyeler ve öğretim için özenle seçilmiş klasikler.
OpenML - görevler + veri kümeleri + kökenleri olan çalışmalar.
AWS Açık Veri / Google Cloud Genel Veri Kümeleri - barındırılan, büyük ölçekli korpuslar.

Profesyonel ipucu: Sadece indirmeyin. Lisansı ve veri sayfasını okuyun , ardından kendi kopyanızı sürüm numaraları ve kökeniyle belgelendirin [1].

Etiketleme ve açıklama - gerçeğin müzakere edildiği yer ✍️

Açıklama, teorik etiket rehberinizin gerçeklikle boğuştuğu noktadır:

Görev tasarımı - örnekler ve karşı örneklerle açık talimatlar yazın.
Açıklamacı eğitimi - altın cevaplarla tohumlama, kalibrasyon turları çalıştırma.
Kalite kontrolü - kullanım anlaşması ölçümlerini, fikir birliği mekanizmalarını ve periyodik denetimleri kullanın.
Araçlar - şema doğrulamasını ve inceleme kuyruklarını zorunlu kılan araçları seçin; hatta elektronik tablolar bile kurallar ve kontrollerle çalışabilir.
Geri bildirim döngüleri - kılavuzu iyileştirmek için açıklama yapan kişinin notlarını yakalayın ve hataları modelleyin.

Virgüller konusunda anlaşamayan üç arkadaşınızla bir sözlüğü düzenlemek gibi hissediyorsanız... bu normaldir. 🙃

Veri dokümantasyonu - örtük bilgiyi açık hale getirme 📒

Hafif bir veri sayfası veya veri kartı şunları kapsamalıdır:

Bunu kim, nasıl ve neden topladı?
Amaçlanan kullanımlar ve kapsam dışı kullanımlar.
Bilinen boşluklar, önyargılar ve hata modları.
Etiketleme protokolü, QA adımları ve anlaşma istatistikleri.
Lisans, izin, sorunlar için iletişim, kaldırma süreci.

Şablonlar ve örnekler: ve Model Kartları için Veri Sayfaları yaygın olarak kullanılan başlangıç noktalarıdır [1].

İnşa ederken yazın, sonrasında değil. Bellek, kararsız bir depolama ortamıdır.

Karşılaştırma Tablosu - AI veri kümelerini bulabileceğiniz veya barındırabileceğiniz yerler 📊

Evet, bu biraz fazla fikir beyanı. Ve ifadeler kasıtlı olarak biraz dengesiz. Sorun değil.

Araç / Depo	Kitle	Fiyat	Pratikte neden işe yarıyor?
Sarılma Yüzü Veri Kümeleri	Araştırmacılar, mühendisler	Ücretsiz kademe	Hızlı yükleme, akış, topluluk betikleri; mükemmel belgeler; sürümlü veri kümeleri
Google Veri Seti Araması	Herkes	Özgür	Geniş yüzey alanı; keşif için harika; ancak bazen tutarsız meta veriler
UCI ML Deposu	Öğrenciler, eğitimciler	Özgür	Özenle seçilmiş klasikler; küçük ama düzenli; temel çizgiler ve öğretim için iyi
AçıkML	Üreme araştırmacıları	Özgür	Görevler + veri kümeleri + birlikte çalıştırmalar; güzel köken izleri
AWS Açık Veri Kaydı	Veri mühendisleri	Çoğunlukla ücretsiz	Petabayt ölçeğinde barındırma; bulut tabanlı erişim; çıkış maliyetlerini izleyin
Kaggle Veri Kümeleri	Uygulayıcılar	Özgür	Kolay paylaşım, senaryolar, yarışmalar; topluluk sinyalleri gürültüyü filtrelemeye yardımcı olur
Google Cloud Genel Veri Kümeleri	Analistler, ekipler	Ücretsiz + bulut	Bilgisayara yakın barındırılır; BigQuery entegrasyonu; faturalandırma konusunda dikkatli olun
Akademik portallar, laboratuvarlar	Niş uzmanları	Değişkenlik gösterir	Son derece uzmanlaşmış; bazen yeterince belgelenmemiş - yine de avlanmaya değer

(Eğer bir hücre konuşkan görünüyorsa, bu kasıtlıdır.)

İlkini yapmak - pratik bir başlangıç seti 🛠️

"Yapay zeka veri seti nedir?" sorusundan "Ben bir tane yaptım, işe yarıyor." sorusuna geçmek istiyorsunuz. Şu basit yolu deneyin:

Kararı ve metriği yazın - örneğin, doğru ekibi tahmin ederek gelen destek yanlış rotalarını azaltın. Metrik: makro-F1.
5 olumlu ve 5 olumsuz örnek listeleyin - gerçek biletlere örnek verin; uydurma yapmayın.
Etiket kılavuzu taslağı hazırlayın - bir sayfa; açıkça dahil etme/hariç tutma kuralları.
Küçük ve gerçek bir örnek toplayın - kategoriler arasında birkaç yüz bilet; ihtiyacınız olmayan kişisel olarak tanımlanabilir bilgileri (PII) kaldırın.
Sızıntı kontrolleriyle bölme - aynı müşteriden gelen tüm mesajları tek bir bölmede tutun; varyansı tahmin etmek için çapraz doğrulamayı kullanın [5].
QA ile açıklama ekleyin - bir alt kümede iki açıklama yapan; anlaşmazlıkları çözün; kılavuzu güncelleyin.
Basit bir temel oluşturun - önce lojistik (örneğin, doğrusal modeller veya kompakt transformatörler). Önemli olan madalya kazanmak değil, verileri test etmektir.
Hataları gözden geçirin - nerede ve neden başarısız oluyor; yalnızca modeli değil, veri setini güncelleyin.
Belge - küçük veri sayfası: kaynak, etiket kılavuzu bağlantısı, bölünmeler, bilinen sınırlar, lisans [1].
Plan yenileme - yeni kategoriler, yeni argo, yeni alan adları geliyor; küçük, sık güncellemeler planlayın [3].

Binlerce sıcak yorumdan daha fazlasını bu döngüden öğreneceksin. Ayrıca, yedeklerini al. Lütfen.

Takımların başına gelen yaygın tuzaklar 🪤

Veri sızıntısı - cevap özelliklere sızıyor (örneğin, sonuçları tahmin etmek için çözüm sonrası alanların kullanılması). Hile gibi geliyor çünkü öyle.
Sığ çeşitlilik - bir coğrafya veya cihaz küreselmiş gibi görünüyor. Testler olay örgüsünün gidişatını ortaya çıkaracak.
Etiket kayması - kriterler zamanla değişir ancak etiket kılavuzu değişmez. Ontolojinizi belgelendirin ve versiyonlayın.
Belirsiz hedefler - Kötü bir tahmini tanımlayamıyorsanız, verileriniz de tanımlanamaz.
Dağınık lisanslar - şimdi kazıyıp sonra özür dilemek bir strateji değildir.
Aşırı artırma - gerçekçi olmayan eserler öğreten sentetik veriler, örneğin bir şefe plastik meyveler hakkında eğitim vermek.

İfadenin kendisiyle ilgili kısa SSS ❓

"Yapay zeka veri kümesi nedir?" sorusu sadece bir tanımlama mı? Çoğunlukla evet, ama aynı zamanda modelleri güvenilir kılan sıkıcı kısımlara da önem verdiğinizin bir işareti.
Etiketlere her zaman ihtiyacım var mı? Hayır. Denetimsiz, kendi kendini denetleyen ve gerçek zamanlı kurulumlar genellikle açık etiketleri atlar, ancak düzenleme yine de önemlidir.
Kamuya açık verileri herhangi bir amaçla kullanabilir miyim? Hayır. Lisanslara, platform koşullarına ve gizlilik yükümlülüklerine saygı gösterin [4].
Daha büyük mü, daha iyi mi? İdeal olarak her ikisi de. Seçim yapmanız gerekiyorsa, önce daha iyisini seçin.

Son Sözler - Ekran görüntüsü alabileceğiniz şeyler 📌

yapay zeka veri kümesinin ne olduğunu sorarsa , şöyle deyin: Bir modeli öğreten ve test eden, düzenlenmiş ve belgelenmiş bir örnek koleksiyonudur ve insanların sonuçlara güvenebilmesi için yönetişimle sarmalanmıştır. En iyi veri kümeleri temsili, iyi etiketlenmiş, yasal olarak temiz ve sürekli güncellenenlerdir. Gerisi, yapı, ayrımlar ve modellerin trafiğe karışmasını engelleyen tüm o küçük bariyerler hakkında ayrıntılardır - önemli ayrıntılar. Bazen süreç, elektronik tablolarla bahçecilik yapmak gibi; bazen de pikselleri gütmek gibi. Her iki durumda da, verilere yatırım yapın ve modelleriniz daha az tuhaf davranacaktır. 🌱🤖

Referanslar

[1] Veri Setleri için Veri Sayfaları - Gebru ve diğerleri, arXiv. Bağlantı
[2] Model Raporlaması için Model Kartları - Mitchell ve diğerleri, arXiv. Bağlantı
[3] NIST Yapay Zeka Risk Yönetimi Çerçevesi (AI RMF 1.0) . Bağlantı
[4] Birleşik Krallık GDPR kılavuzu ve kaynakları - Bilgi Komiserliği Ofisi (ICO). Bağlantı
[5] Çapraz doğrulama: tahminci performansının değerlendirilmesi - scikit-learn Kullanıcı Kılavuzu. Bağlantı

En Yeni Yapay Zeka Ürünlerini Resmi Yapay Zeka Asistanı Mağazasında Bulun

Hakkımızda

Bloga geri dön

Ülke/bölge