ServiceNow'un AutoSynthData özelliği, ajan hatalarını eğitim için altın değerinde bir kaynağa dönüştürüyor

Kısa cevap: ServiceNow CoreAI'nin AutoSynthData özelliği, işletmelerin yalnızca geniş kapsamlı kıyaslama puanlarına değil, ortam yetkinliğine ihtiyaç duyduğu durumlarda, aracı hatalarını ve eğitmen başarılarını doğrulanmış sentetik SFT görevlerine dönüştürür. Eksiklikleri yetenek spesifikasyon kartlarına dönüştürür, doğrulanabilir işleri çoğaltır ve ardından ince ayar yapmadan önce kaliteyi kontrol eder. Yazarın bildirdiğine göre, eğitmen gücü, doğrulayıcı kalitesi ve ortam doğruluğu uyumlu olduğunda EnterpriseOps Gym performansı artar.

Önemli noktalar:

Yetenek kartları: Hataları kartlara kaydederek jeneratörlerin orijinal kimlikleri asla görmemesini sağlar.

Doğrulayıcı denetlenebilirliği: Değiştirilmiş yanlış sonuçları reddeden SQL son durum kontrollerini tercih edin.

Zorluk seviyesi: Sadece hedef öğrencinin nadiren çözdüğü ve öğretmenin genellikle başarıyla tamamladığı görevleri çalıştırın.

İnsan değerlendirmesi: Yeniden eğitimden önce, yüksek riskli politikalar ve geri döndürülemez eylemler için insan değerlendirmesi yapılmalıdır.

Hareketli sınır: SFT'den sonra, kalan boşluklara yönelik hedef aşamasını yeniden değerlendirin ve kaydırın.

Kurumsal yapay zeka ajanları nadiren genel bilgi eksikliğinden dolayı başarısız olur. Başarısızlıklarının nedeni ortamın özel olmasıdır: bilet politikaları, şema tuhaflıkları, araç sözleşmeleri, önceden tanımlanmış veritabanları, bilgi makaleleri ve ders kitaplarındaki örneklere benzemeyen sistemler arası iş akışları. Açık kıyaslamalarda iyi puan alan bir model bile, bir sonraki adımın bir değişiklik penceresine, bir CMDB ilişkisine veya akıcı bir sohbet yerine son durumu kontrol eden bir doğrulayıcıya uyması gerektiğinde takılıp kalabilir.

ServiceNow CoreAI / ServiceNow-AI, bu açığı doğrudan kapatmak için AutoSynthData'yı yayınladı . Yazar Esakkivel Esakkiraja, hedef ajanın başarısızlıklarını - daha güçlü bir öğretmenin başarılarıyla birlikte - kurumsal ortamlara uyarlanmış, doğrulanmış sentetik eğitim görevlerine dönüştüren bir süreç tanımlıyor. Amaç daha fazla sohbet kaydı toplamak değil. Amaç, aynı yeteneği yeni koşullar altında çalıştıran, doğrulanabilir ve zorlu çalışmaları çoğaltarak, denetimli ince ayar yoluyla ortama özgü boşlukları kapatmaktır.

Bu makale, Hibrit ve ITSM ortamlarında EnterpriseOps Gym'in temel fikrini, görev soyutlamasını, üretim ve kalite kontrol döngüsünü, paylaşılan mimarisini ve yazar tarafından bildirilen sonuçlarını ele almaktadır. Araştırmanın tanımladığı şeye sadık kalmaktadır: herhangi bir işletmenin aniden çözüldüğü iddiasında bulunmak yerine, sentetik görevlerden oluşan hareketli bir müfredat.

Çevresel yetkinliğin genel yetkinliğe neden üstün olduğu

İşletmelerin kendi ortamlarında - sistemlerinde, kurallarında ve veri durumlarında - çalışan aracılara ihtiyaçları vardır. Geniş yetenek, ortam yetkinliğiyle aynı şey değildir. Bir aracı, BT hizmet yönetiminin genellikle nasıl çalıştığını bilebilir ancak belirli geçişleri yasaklayan yerel politikayı veya ilgili bir tabloyu yalnızca ön koşul kaydı mevcut olduktan sonra güncelleyen aracı gözden kaçırabilir.

Bireysel başarısızlıklar bilgilendiricidir ancak eğitim verisi olarak yetersizdir. Tek bir bozuk yörünge bir zayıflığı gösterir; modelin varyasyon altında toparlanmasını öğretecek onlarca yakındaki durumu sağlamaz. Ekiplerin, aynı yeteneği farklı şekillerde kullanan, ortam içinde tamamlanabilir kalan, kullanıcının talepleri doğrultusunda gerçekçi hissettiren ve sonuç kontrollerine karşı doğrulanabilir kalan birçok yeni göreve ihtiyacı vardır.

AutoSynthData'nın arkasındaki tasarım baskısı budur. Başarısızlıklar, yetenek kartları için sinyaller haline gelir. Kartlar, yeni görevlerin üreticileri olur. Daha güçlü bir öğretmen, başarılı yörüngeleri gösterir. Filtreler ve doğrulayıcılar, denetimli ince ayar kümesine neyin gireceğine karar verir. Eğitimden sonra, değerlendirme, sınırı kalan boşluklara doğru kaydırır. Döngü, tek seferlik veri dökümü yerine müfredata göre şekillendirilmiştir.

Uygulayıcılar için çerçeveleme önemlidir. Yalnızca başarısız olan istemleri saklarsanız, bu varlıklara ve ifadelere aşırı uyum sağlama riskiyle karşı karşıya kalırsınız. Yalnızca kısıtlanmamış sentetik istekler oluşturursanız, imkansız, gerçekçi olmayan veya doğrulanamayan görevler riskiyle karşı karşıya kalırsınız. AutoSynthData bu uç noktalar arasında yer alır: başarısız olanları bir yetenek spesifikasyonuna dönüştürür, ardından temel yapıyı korurken yüzey biçimini ve kontrol edilebilir boyutları değiştiren görevleri yeniden oluşturur.

Pratik görev şekli: sistem, istem, doğrulayıcı

Ajan tabanlı çalışma için işlevsel bir soyutlama şu şekildedir: görev, sistem spesifikasyonu, kullanıcı istemi ve doğrulayıcıya. Her bir parça, sentetik verilerin gerçekçi ve güvenilir kalmasını sağlayan kısıtlamalar içerir.

Sistem spesifikasyonu, kısıtlamaları, politikaları ve başlangıç ​​durumunu (örneğin veritabanı başlangıç ​​değerleri ve bilgi makaleleri) kapsar. Mevcut araçlar ve durumla uyumlu kalmalıdır. Araç sözleşmelerini veya başlangıç ​​değerlerinin gerçekçiliğini göz ardı eden keyfi zorluk kısıtlamaları, yanlış dersler veren kırılgan görevler oluşturma eğilimindedir.

Kullanıcı istemi kalitesinin üç boyutu vardır. Uygulanabilirlik, geçerli bir yolun olup olmadığını sorgular. Gerçekçilik, bir kullanıcının bunu makul bir şekilde isteyip istemeyeceğini sorgular. Zorluk, görevin hedef sistemin zaten güvenilir bir şekilde çözdüğü bir şeyden ziyade, mevcut bir ajan zayıflığını ortaya çıkarıp çıkarmadığını sorgular. Hedef sistem için önemsiz bir istem, eğitim bütçesini boşa harcar; imkansız bir istem ise değerlendirme güvenini boşa harcar.

Doğrulayıcının kalitesi tutarlılık, sağlamlık ve eksiksizliğe bağlıdır. Çok gevşek ve zayıf yörüngeler geçer. Tek bir yörüngeye çok kısıtlayıcı yaklaşımlar ve geçerli alternatif çözümler başarısız olur. Kurumsal ortamlarda genellikle SQL tabanlı veya durum tabanlı sonuç kontrolleri tercih edilir çünkü bunlar, ajanın izlediği tam yolu değil, ajanın eyleminden sonraki dünyayı değerlendirir.

AutoSynthData bu üçlüye dayanır, böylece üretilen işler sağlam temellere oturur. Üreticiler serbest dolaşan testler icat etmezler. Ortam adaptöründe yürütülebilecek ve gerekli son durum özelliklerini önemseyen doğrulayıcılar tarafından değerlendirilebilecek görevler üretirler.

Teşhis değerlendirmesinden yetenek belirleme kartlarına

Süreç, hedef ajanın ve ortam içindeki daha güçlü bir öğretmenin tanısal değerlendirmesiyle başlar. Yan yana yapılan karşılaştırmalı çalışmalar, hedefin nerede başarısız olduğunu ve öğretmenin nerede başarılı olduğunu ortaya koyar. Bu karşılaştırmalı durumlar, müfredat tasarımı için ham maddeyi oluşturur.

Sonraki adım , temizlenmiş yetenek-özellik kartlarına damıtmaktır . Bir kart, test edilen yeteneği, ilgili araçları veya iş akışı şeklini, hedefin başarısız olduğu ve öğretmenin başarılı olduğu noktaları, gerekli son durum özelliklerini ve yeni görevler icat edildiğinde değişebilen boyutları yakalar. Kritik olarak, oluşturucu orijinal istemleri, varlıkları, yörüngeleri veya doğrulayıcı ayrıntılarını almaz; yalnızca kartları alır.

Bu temizleme işlemi, aşırı uyumu önlemeye yönelik bilinçli bir hamledir. Eğer jeneratör tam olarak başarısız olan bilet numaralarını, bilgi makalesi kimliklerini veya öğretmen izlerini görseydi, aynı olayı yeniden ifade etmeye meyilli olurdu. Kartlar soyutlamayı zorlar: ezberlenmiş örneği değil, kontrol edilebilir varyasyon altındaki yeteneği öğretin.

Kartlar oluşturulduktan sonra, sistem bunlardan yeni görevler üretir. Ardından öğretmen, denetimli ince ayar için başarılı gidişatları gösterir. Bu gösterimler serbest biçimli tavsiyeler değildir; müfredatın önem verdiği doğrulama türünden geçen, ortama dayalı başarılardır.

İki aşamalı bir ölçek yapısı vardır. Hedef aşaması, boşluklar etrafındaki temel, doğrulanmış örneklere odaklanır; zayıf ajanın kırıldığı yerin yakınındaki en yüksek sinyalli görevlere. Çarpma aşaması, kabul edilen hedeflerin yeni varyantlarını oluşturur. Çarpılan örnekler, daha fazla çarpma turunu başlatamaz, bu da sapmayı sınırlar. Bu kural küçük ama önemlidir: sınırsız özyinelemeli varyasyon, kartın adlandırdığı yetenekten uzaklaşabilir.

Paylaşımlı kontrolcü, ortam adaptörü ve hareketli sınır

Mimari açıdan AutoSynthData, paylaşımlı bir denetleyici ve bir ortam adaptörü. Denetleyici, teşhis, kart oluşturma, üretim, öğretmen demoları, kalite kontrolleri ve toplu incelemeyi düzenler. Adaptör, bu adımları somut bir kurumsal sanal ortama (araçlar, durum, politikalar ve doğrulayıcılar) bağlar, böylece aynı kontrol döngüsü, müfredat mantığını sıfırdan yeniden yazmaya gerek kalmadan farklı alanları hedefleyebilir.

Denetimli ince ayardan sonra, süreç yeniden değerlendirilir. Ardından müfredat, kalan boşluklara doğru ilerler: statik bir veri kümesi yerine hareketli bir sınır. Çalışmada açıklanan deneyler, denetimli ince ayara odaklanmaktadır. Aynı döngü daha sonra pekiştirmeli öğrenmeyi destekleyebilir; bu yön planlanmış olarak belirtilmiş olup, tamamlanmış olarak iddia edilmemektedir.

Kurumsal ekipler için mimari dersin özü modüler yapıdır. Kontrolcüler tek bir bilet şemasını sabit kodlamamalıdır. Adaptörler, doğrulayıcıların anlamlı olabilmesi için yeterli durum ve araç doğruluğunu ortaya koymalıdır. Müfredat, değerlendirme sonuçlarını tek seferlik bir puan tablosu olarak değil, bir sonraki girdi olarak ele almalıdır.

EnterpriseOps Gym , bu yaklaşımın örneklendiği ortamdır. Yaklaşık 8 alanda 1.150 uzman tarafından derlenmiş görevi, yaklaşık 512 aracı, yaklaşık 164 veritabanı tablosunu, konteynerleştirilmiş yürütmeyi, SQL tabanlı sonuç doğrulamasını, politikaya dayalı işlemleri, hibrit alanlar arası senaryoları, uygulanabilirlik ve ret testlerini ve uzun vadeli durum tabanlı yörüngeleri içeren büyük ölçekli bir kurumsal ajan test ortamıdır. AutoSynthData'nın bu ortamı icat ettiği iddia edilmemektedir; ortam, sentez döngüsü için stres test ortamıdır.

Sentetik görevlerin güvenilirliğini sağlayan örnek düzeyinde kalite kontrolü

Kapısız üretim, sentetik ajan verilerinin yanlış gitmesinin nedenidir. AutoSynthData, çeşitli tamamlayıcı kontrollerle örnek düzeyinde kalite kontrolünü tanımlar.

Çözücü zorluk filtresi, hedef için zor, öğretmen için çözülebilir olan görevlere doğru kümeyi yönlendirir. Açıklanan yapılandırma, hedefin üç denemeden en fazla birinde çözebileceği, öğretmenin ise üç denemeden en az ikisinde başarılı olabileceği görevleri tercih eder. Bu aralık, denetimli gösterimlerin zayıf modelin henüz sahip olmadığı bir şeyi öğretebileceği alandır.

Pozitif doğrulama, referans yörüngesinin doğrulayıcıdan geçmesini gerektirir. Negatif doğrulama ise, değiştirilmiş yanlış sonuçların başarısız olmasını gerektirir. Birlikte, denetleyicinin hem kabul hem de reddetme taraflarını test ederler. Yalnızca pozitifler kontrol edilirse, izin verici bir doğrulayıcı hatalı sonuçları kabul edebilir. Yalnızca negatifler kontrol edilirse, aşırı katı bir doğrulayıcı geçerli çalışmaları reddedebilir.

Bir eleştiri ve onarım döngüsü, yeniden deneme sınırı ile birlikte, her başarısız denemeyi hemen atmak yerine, engelleri aşamayan görevleri düzeltmeye çalışır. Yeniden deneme sınırları önemlidir: sonsuz onarım, sadece bir kontrol listesini geçmek için giderek daha yapay kısıtlamalar yaratabilir.

Toplu düzeyde meta-inceleme daha sonra kapsam, çeşitlilik, fazlalık ve başarısız hedefler açısından tüm seti inceler. Örnekleme kontrolleri, bireysel öğelerin sağlam kalmasını sağlar; toplu inceleme, müfredatın tek bir dar başarısızlık modunda kümelenmesini veya neredeyse birbirinin aynısı öğeleri kopyalamasını önler.

Bu kontroller, işlem hattının hacmi uygunluğun yerine koymadan binlerce örnek üretmek için saatlerce zaman harcamasının nedenini açıklıyor. Hız, alan ve öğretmen sayısına göre değişir, ancak kalite kontrol süreci tutarlıdır: zorluk seviyesi, pozitif ve negatif doğrulama, sınırlamalarla onarım ve ardından meta-inceleme.

Ham hatalar, kartlar ve doğrulanmış SFT setleri

Her bir unsurun ne işe yaradığını karşılaştırmak faydalıdır. Ham hata kayıtları teşhis amaçlıdır. Yetenek kartları üretken sözleşmelerdir. Doğrulanmış, denetimli ince ayar setleri ise pratikte üzerinde eğitim aldığınız unsurlardır.

EnterpriseOps Gym'deki Hibrit ve ITSM anlık görüntülerinde, yazar tarafından bildirilen çalıştırmalarda hedef olarak Gemma-4-26B-A4B-it kullanılmıştır. Hibrit, bu hedefi Qwen3.8-27B öğretmen modeliyle eşleştirmiş ve yaklaşık 18 saatte yaklaşık 2.000 hibrit örnek üretmiştir ; en iyi kontrol noktası 5. dönemde elde edilmiştir. Ortalama Pass@1, %7,2 puan (yaklaşık %35'lik bir artış) artmış, doğrulayıcı başarısı %63,01'den %68,55'e yükselmiş ve referans modele göre Pass@1 farkının yaklaşık %59'unu kapatmıştır

ITSM, aynı hedefi DeepSeek-V4.1-Flash ile eşleştirerek yaklaşık 66 saatte 1.994 örnek; bu sürenin uzamasının nedenlerinden biri daha büyük bir öğretmen kullanılması ve bazı işlem hattı optimizasyonlarının henüz uygulanmamış olmasıydı. Ortalama Pass@1 oranı %18,77'den %27,18'e yükseldi.

Bu rakamları, test edilen alanlarda bu spor salonuyla ilgili şirket araştırma sonuçları olarak okuyun; bağımsız bir üçüncü taraf tekrarı veya evrensel bir kurumsal garanti olarak değil. Kazançlar, öğretmen gücü, doğrulayıcı kalitesi ve ortam doğruluğunun bir araya geldiği yerde gerçekleşir.

Uygulayıcıların döngüden kopyalaması gerekenler

Kullandığınız teknoloji yığını ServiceNow'un araştırma hattı olmasa bile, model aktarılabilir. Üretim benzeri bir hedef ve daha güçlü bir eğitmenin, güvenilir bir sanal ortamda eşleştirilmiş değerlendirmesiyle başlayın. Karşılaştırma hatalarını, tanımlayıcıları ve yörüngeleri kaldıran yetenek kartlarına dönüştürün. Gerekli son durum özelliklerini korurken izin verilen boyutları değiştiren görevler oluşturun. Eğiticinin başarıları göstermesini sağlayın. Zorluk bantları, pozitif ve negatif doğrulama, sınırlı onarım ve toplu çeşitlilik incelemesi ile aşamaları kontrol edin. İnce ayar yapın, yeniden değerlendirin ve sınırları genişletin.

Doğrulayıcı tasarımına özellikle dikkat edin. EnterpriseOps Gym tarzı SQL sonuç kontrolleri ve politika tabanlı işlemler, sohbet değerlendirme kriterlerinin neden durum bilgisi içeren işler için yetersiz olduğunu göstermektedir. Doğrulayıcınız değiştirilmiş yanlış sonuçları doğru nihai sonuçlardan ayırt edemiyorsa, sentetik ölçeklendirme gürültüyü artıracaktır.

Ayrıca, çoğaltma kuralının ruhuna da saygı gösterin: kabul edilen hedeflerin varyantları, onaylanmış çekirdeklere geri dönmeden sonsuz sayıda daha fazla varyant üretmemelidir. Sapma sessizdir. Yavaş yavaş daha egzotik kısıtlamalar icat eden bir müfredat, orijinal yeteneği yetersiz eğitilmiş bırakırken sığ filtrelerden geçebilir.

Son olarak, hibrit alanlar arası çalışmaları birinci sınıf bir stres testi olarak ele alın. Günlük kullanıcılar tek bir araç silosunun içinde kalmazlar. Hibrit görevler, uzun vadeli hedefler ve reddedilme veya uygulanabilirlik testleri, ortam yetkinliğinin ortaya çıktığı veya açıkça başarısız olduğu yerlerdir.

Uyarılar, sınırlamalar ve kazanımların dikkatli bir şekilde değerlendirilmesi

EnterpriseOps Gym'de yazar tarafından bildirilen sonuçlar bilgilendirici sinyallerdir, genel bir garanti niteliği taşımaz. Yayınlanan Hibrit ve ITSM kazanımları, açıklanan kurulum altında bu alanlar ve model eşleştirmeleri için geçerlidir. Diğer alanlar, daha zayıf öğretmenler, daha gürültülü doğrulayıcılar veya daha sığ ortam doğruluğu, faydayı azaltabilir veya ortadan kaldırabilir.

Kalite, hiçbir pazarlama hilesinin atlayamayacağı üç temel unsura bağlıdır. Öğretmen gücü, gösteriler için üst sınırı belirler. Doğrulayıcı kalitesi, etiketlerin ve filtrelerin güvenilirliğini belirler. Ortam doğruluğu, öğrenilen davranışların üretim sistemleri, kurallar ve veri durumuyla temasından sonra da devam edip etmeyeceğini belirler.

AutoSynthData'nın deneyleri, denetimli ince ayara odaklanmaktadır. Takviyeli öğrenme, aynı döngünün daha sonraki olası bir kullanımı olarak belirtilmiş olup, raporlanan çalışmada uygulanmamış, ancak planlanmıştır. Okuyucular, müfredata hazır bir veri motorunu, tamamlanmış bir takviyeli öğrenme eğitimi iddiasıyla karıştırmamalıdır.

Okuyucular sentez hattını test ortamıyla karıştırmamalıdır. EnterpriseOps Gym, özenle seçilmiş görevler, araçlar, tablolar, konteynerleştirme ve doğrulama altyapısı sağlar. AutoSynthData ise bu tür bir ortamı kullanarak hataları eğitim için altın değerinde bilgilere dönüştürür. Her iki parçayı da doğru şekilde değerlendirmek gerekir: Gym, ajanları zorlar; işlem hattı ise teşhis edilen eksikliklerden öğretilebilir görevleri çoğaltır.

Sanal ortamda işlem gücü ve takvim zamanı konusunda da bedava öğle yemeği yok. Hibrit sentez, yaklaşık iki bin örnek için saatler mertebesinde tamamlandı; ITSM, daha ağır bir öğretmen ve daha önceki işlem hattı şekliyle daha uzun sürdü. Ekipler, her müfredat adımından sonra öğretmen çıkarımı, eleştiri veya onarımda yeniden denemeler ve yeniden değerlendirme için bütçe ayırmalıdır.

Kurumsal temsilci ekipleri için müfredat düşüncesi

AutoSynthData'daki en derin fikir, tamamen üretken olmaktan ziyade müfredata dayalıdır. Hatalar teşhis edilir. Kartlar soyutlanır. Üretim çoğalır. Kalite kontrol doğrular. SFT hedefi günceller. Yeniden değerlendirme sınırı genişletir. Bu sıra, ajan iyileştirmesini tek bir çevrimdışı izleme dökümü yerine, çevreye dayalı bir dizi ders olarak ele alır.

Müfredat düşüncesi, liderlerin çabayı nasıl tahsis ettiğini değiştirir. Sadece daha fazla bilet veya daha fazla insan açıklaması istemek yerine, hangi yeteneklerin varyasyon altında hala başarısız olduğunu, bu yeteneklerin net son durum özelliklerine sahip olup olmadığını ve daha güçlü bir öğretmenin bunları güvenilir bir şekilde gösterip gösteremeyeceğini sorun. Öğretmen yeterince sık başarılı olamazsa, sentetik SFT güvenilmez davranışlar öğretecektir. Son durum özellikleri belirsizse, doğrulayıcılar geçerli stratejilerle tartışacaktır.

Bu aynı zamanda başarıdan bahsetme şeklinizi de değiştirir. Hibrit ortamda Pass@1 açığının bir kısmını referans modele kapatmak veya yazar tarafından raporlanan çalışmalarda ITSM Pass@1'i yüksek onlu sayılardan yüksek yirmili sayılara çıkarmak, ölçülen ortam yetkinliğinde ilerlemedir. Bu, her iş akışının, her politikanın veya her ret vakasının çözüldüğünün kanıtı değildir. Sürekli gelişen bir dil kullanmaya devam edin: kalan açıkları bir sonraki Hedef aşamasına ekleyin, sonradan akla gelen bir slayt olarak değil.

Program tasarımı için, risklerin yüksek olduğu durumlarda (güvenlik politikaları, geri döndürülemez işlemler, düzenlenmiş veriler) bu döngüyü insan incelemesiyle birleştirin; otomatik geçitlerin ise iyi tanımlanmış durum kontrollerinde hacim taşımasına izin verin. Sentetik veri, ortamın SQL benzeri bir netlikle evet veya hayır diyebildiği durumlarda en iyi sonucu verir. Başarı öznel bir zevke bağlı olduğunda ise zorlanır.

Zorluk, gerçekçilik ve reddetme üzerine tasarım notları

Zorluk seviyesi yeniden gözden geçirilmeyi hak ediyor. Hedefin en fazla üçte bir oranında çözdüğü görevleri tercih etmek, eğitimi önemsiz sorulardan uzak tutar. Öğretmenin en az üçte iki oranında başarılı olmasını gerektirmek, gösterileri şans işlerinden uzak tutar. Bu aralık, zorluk ve öğrenilebilirlik arasında pratik bir uzlaşmadır.

Gerçekçilik daha yumuşak bir kriter olmaya devam ediyor ancak yine de çok önemli. Kurumsal kullanıcılar rollerine ve sistemlerine uygun şeyler talep ediyor. Sadece sertlik tarafından yönlendirilen jeneratörler, hiçbir operatörün talep etmeyeceği karmaşık çok kısıtlamalı bulmacalar icat edebilir. Değişken boyutları listeleyen yetenek kartları yardımcı olur, ancak yine de gerçeküstü ipuçlarını yakalamak için insanlara veya meta-incelemeye ihtiyaç duyulur.

ret ve uygulanabilirlik testleri, ekiplere yetkinliğin hayır demeyi de içerdiğini hatırlatır. Yalnızca tamamlanabilir görevler için optimize edilmiş bir işlem hattı, ret eğitimini yetersiz bırakabilir. AutoSynthData tarzı döngüleri genişletirken, doğru nihai özelliğin yalnızca veritabanı durumunun başarılı bir şekilde değiştirilmesi değil, politika kapsamında güvenli bir ret olduğu kartları da ekleyin.

Uzun vadeli durum tabanlı yörüngeler, başka bir tasarım notunu gündeme getiriyor. Öğretmen gösterimleri, birçok araç çağrısı boyunca tutarlı kalmalıdır. Yalnızca son tablo satırını kontrol eden doğrulayıcılar, ara politika kırılmalarını gözden kaçırabilir. Doğrulayıcı tasarımında eksiksizlik, bu yetenek için başarıyı gerçekten tanımlayan özellikleri kapsamak anlamına gelir; bu özellikler arasında yalnızca sonunda değil, baştan sona doğru kalması gereken kısıtlamalar da bulunur.

Kapanış özeti

ServiceNow CoreAI / ServiceNow-AI tarafından geliştirilen ve Esakkivel Esakkiraja tarafından kamuoyuna açıklanan AutoSynthData, hedef ajan hatalarını ve öğretmen başarılarını kurumsal ortamlar için doğrulanmış sentetik eğitim görevlerine dönüştüren bir işlem hattıdır. Hataları temizlenmiş yetenek spesifikasyon kartlarına dönüştürür, orijinal istemleri veya yörüngeleri sızdırmadan yeni görevler oluşturur, öğretmen gösterimlerini toplar ve denetimli ince ayardan önce örnek düzeyinde ve parti düzeyinde kalite kontrolü uygular.

Pratik zihinsel model, sistem spesifikasyonu, kullanıcı istemi ve doğrulayıcı olarak görevi ele alır; uygulanabilirlik, gerçekçilik ve zorluk dengede tutulur ve doğrulayıcılar ne çok gevşek ne de tek bir yola kilitlenmiş olmalıdır. Hedef ve ardından Çarpma aşamaları, çarpılan örnekler için daha fazla tohumlama yapılmaması kuralı, paylaşılan denetleyici artı ortam adaptörü ve SFT sonrası yeniden değerlendirme, kalan boşluklar üzerinde hareketli bir sınır oluşturur.

EnterpriseOps Gym'de, Gemma-4-26B-A4B-it ve Qwen3.8-27B ile yazar tarafından bildirilen Hibrit sonuçlar, yaklaşık on sekiz saatte yaklaşık iki bin örneklemde anlamlı Pass@1 ve doğrulayıcı başarı artışları göstererek referans modele olan farkın büyük bir bölümünü kapatıyor. DeepSeek-V4.1-Flash'ı öğretmen olarak kullanan ITSM, daha uzun bir çalışma süresinde yaklaşık 1.994 örneklemde Pass@1'in %18,77'den %27,18'e yükseldiğini gösteriyor. Bu rakamları, öğretmen, doğrulayıcı ve ortam doğruluğuna bağlı olarak belirli alanlarda araştırılmış sinyaller olarak değerlendirin ve takviyeli öğrenmeyi döngünün planlı bir uzantısı olarak tutun, tamamlanmış bir iddia olarak değil.

Eğer tek bir cümleyi hatırlarsanız: Kurumsal temsilciler, başarısızlıklar soyutlanıp, çoğaltılıp, doğrulanmış derslere dönüştürüldüğünde ve günlük olarak işletmeleri gereken sistemler içinde öğrenildiğinde gelişirler; ekipler aynı bozuk bileti tekrar tekrar oynattığında değil.

Pratik örnek: Donmuş Gym tarzı hata kümesinden zorlu ITSM vakalarını genişletmek

Senaryo

Birleşik Krallık'ta faaliyet gösteren bir kurumsal platform ekibi (örneğin, ServiceNow tarzı ITSM kullanan, değişiklik pencereleri, CMDB ilişkileri ve politika kontrollü geçişlere sahip orta ölçekli bir finansal hizmetler operasyon grubu) aynı tür işlerde sürekli takılan üretim ortamına benzer bir ajana sahip: onay ön koşuluna uyması gereken tablolar arası güncellemeler, yerel değişiklik dondurmalarıyla çakışan bilgi makalesi aramaları ve ITSM'den bitişik operasyon araçlarına geçiş yapan hibrit istekler.

Haftadan haftaya puanların karşılaştırılabilir olması için özel bir EnterpriseOps Gym tarzı test ortamı (konteynerleştirilmiş sanal alan, SQL sonuç kontrolleri, önceden tanımlanmış tablolar, politika kuralları) donduruyorlar. Tanısal çalıştırmalar, daha güçlü bir eğitmenin başarılı olduğu yerde hedef ajanın başarısız olduğunu gösteriyor. Yönetim, aynı bilet numaralarını ve varlık kimliklerini tekrar oynatmadan daha fazla eğitim sinyali istiyor. AutoSynthData (veya araştırma hattı kendi sistemlerinde kilitliyse, başarısızlıklardan sentezleme döngüsüne eşdeğer bir çözüm) adaydır: karşılaştırma başarısızlıklarını temizlenmiş yetenek spesifikasyon kartlarına dönüştürün, yeni görevler oluşturun, eğitmen demolarını toplayın ve ardından -kritik olarak- herhangi bir yeniden eğitimden önce sentetik izleri insan incelemesinden geçirin.

Gym Pass@1'de hiçbir şey tek başına gönderilmez. Sentetik veriler, özgür gerçek olarak değil, aday müfredat olarak ele alınır.

Asistanın ihtiyaç duyduğu şeyler

• Dondurulmuş Gym tarzı ortam adaptörüne erişim: araçlar, başlangıç ​​durumu, politikalar ve SQL (veya eşdeğer durum tabanlı) doğrulayıcılar.
• Eşleştirilmiş değerlendirme kayıtları: Hedefin başarısızlıkları, aynı görevlerdeki öğretmen başarılarıyla karşılaştırılmıştır.
• Orijinal istemler, varlıklar, yörüngeler veya doğrulayıcı iç mekanizmaları olmaksızın, yeteneği, araçları/iş akışı şeklini, başarısızlık/başarı karşılaştırmasını, gerekli son durum özelliklerini ve izin verilen varyasyon boyutlarını yakalayan bir kart şeması.
• Herhangi bir şey sanal ortamdan çıkmadan veya bir oluşturucu istemine girmeden önce, kişisel verilerin ve politika bilgilerinin (bilet kimlikleri, kullanıcı adları, CI adları, düzenlenmiş alanlar) temizlenmesi.
• Örneklenmiş sentetik görevler ve öğretmen izleri için insan inceleme kuyruğu (uygulanabilirlik, gerçekçilik, doğrulayıcının sağlamlığı, ret/uygulanamazlık durumları).
• Durdurma koşullarını netleştirin: Hedef ve ardından Çarpma aşamaları; çarpılan örnekler daha sonraki çarpma turlarına başlangıç ​​noktası olarak kullanılmaz.

Örnek talimat

Platform, müfredat operatörüne (veya yalnızca kart taslakları hazırlayan ve paketleri inceleyen bir orkestrasyon asistanına - modelleri yeniden eğitmez veya terfi ettirmez) yönlendirir:

“Dondurulmuş ITSM ve Hibrit dilimler üzerinde mevcut hedefimiz ve belirlenmiş öğretmenimize karşı tanısal Pass@1'i çalıştırın. Hedefin başarısız olduğu ve öğretmenin üç denemeden en az ikisinde başarılı olduğu her karşılaştırma için, temizlenmiş bir yetenek spesifikasyon kartı taslağı hazırlayın: yeteneği adlandırın, ilgili araçları listeleyin, gerekli son durum özelliklerini belirtin ve kontrol edilebilir boyutları (öncelik bandı, ilgili CI sınıfı, değişiklik penceresi bayrağı, bilgi çatışması türü) listeleyin. Bilet numaralarını, kullanıcı tanımlayıcılarını, CI adlarını ve ham yörüngeleri kaldırın. Yalnızca bu kartlardan yeni görevlerden oluşan bir Hedef aşaması grubu oluşturun. Öğretmenin başarıları göstermesini sağlayın. Zorluk bandını (hedef ≤1/3, öğretmen ≥2/3), olumlu ve olumsuz doğrulamayı ve sınırlı eleştiri/onarım uygulayın. %5'lik tabakalı örneklerden oluşan bir inceleme paketi ve her ret/uygulanamazlık kartı oluşturun. İki inceleyici paketi onaylayana ve PII temizleme kontrolleri geçene kadar SFT'ye başlamayın. Bir aday kontrol noktasında SFT'den sonra, dondurulmuş paket üzerinde ve bir Üretimde hiç kullanmadığımız kesin eşleşme setini ayırın. Önceki üretim kontrol noktasına göre hata sınıfı ve gerileme oranına göre kapsama alanını raporlayın. Sadece Gym puanına göre tanıtım yapmayın.”

Nasıl test edilir?

1. Temel kilit: Dondurulmuş test paketindeki Pass@1 ve doğrulayıcı başarı oranlarını hata sınıfına göre (ön koşul sıralaması, değişiklik penceresi reddi, hibrit araçlar arası uyumsuzluk, bilgi çakışması) kaydedin. Test paketini ve başlangıç ​​değerlerini döngü boyunca değiştirilemez halde tutun.
2. Kart denetimi: Jeneratörlerin asla orijinal komutlar, varlıklar veya öğretmen izleri almadığından, yalnızca kartlar aldığından emin olmak için rastgele kontroller yapın.
3. Örnek Kalite Kontrolü: Olumlu gidişatların doğrulayıcılardan geçtiğini ve mutasyona uğramış yanlış sonuçların başarısız olduğunu teyit edin. Hedef için önemsiz veya öğretmen için yazı tura atma gibi olan görevleri reddedin.
4. İnsan değerlendirmesi: Değerlendiriciler, her örneği uygulanabilirlik, gerçekçilik ve politika güvenliği açısından "sakla" / "onar" / "bırak" olarak işaretler. Ortak bir alt küme üzerinde değerlendiriciler arası mutabakat takip edilir.
5. Tam eşleşme testi: Aday SFT'den sonra, kart oluşturma veya üretimde hiç girdi olarak kullanılmamış gerçek (veya önceden dondurulmuş) görevlerden oluşan bir tutma grubunu puanlayın. Yüzeysel ezberlemeyi tespit etmek için eğitim görevlerinin neredeyse eş anlamlılarını ayrı olarak puanlayın.
6. Gerileme kapısı: Önceki üretim kontrol noktasına göre kötüleşen herhangi bir hata sınıfı, açıklanıp düzeltilene kadar bir üst sürüme geçişi engeller.

Sonuç

Burada uydurma yüzdeler kullanmayın. Ölçüm planı kullanın ve yayınlanmış araştırma verilerini alıntı yaparken MAKALE İDDİASI olarak etiketleyin.

Ölçüm planı (bu ekibin raporlaması gerekenler):

• Başarısızlık sınıfı kapsamı: Kalite kontrolünden sonra ≥N kabul edilmiş Hedef aşama görevi üreten teşhis edilmiş eksiklik sınıflarının payı (N'yi önceden tanımlayın, örneğin sınıf başına 20 kabul edilmiş görev).
• Holdout'un tam eşleşmesi: Pass@1 / doğrulayıcının aday SFT'den önce ve sonra dokunulmamış holdout'ta başarılı olması (aynı başlangıç ​​değerleri, aynı doğrulayıcı).
• Gerileme oranı: Önceki üretim kontrol noktasına kıyasla Pass@1'in düştüğü başarısızlık sınıflarının sayısı; herhangi bir güvenlik açısından kritik sınıf gerilerse engelle.
• İnceleme verimi: İnsan inceleme paketindeki oranları koruyun/onarın/düşürün; düşme oranında ani artış olursa, Çarpma işlemini durdurun ve kartları veya doğrulayıcıları düzeltin.
• Veri temizleme hataları: İnceleme onayı öncesinde PII/politika kontrollerinde başarısız olan örnek sayısı (hedef: SFT kümesine sıfır kaçak veri).

MAKALE İDDİASI (yazar tarafından EnterpriseOps Gym'de raporlanmıştır - bu ekibin ölçtüğü sonuç değildir): Hedef olarak Gemma-4-26B-A4B-it ve öğretmen olarak Qwen3.8-27B ile yapılan hibrit çalıştırmalar, yaklaşık 18 saatte yaklaşık 2.000 örnek üretti; ortalama Pass@1 oranı yaklaşık 7,2 puan arttı ve doğrulayıcı başarısı %63,01'den %68,55'e yükseldi. Öğretmen olarak DeepSeek-V4.1-Flash ile yapılan ITSM, daha uzun bir çalıştırmada (~66 saat) yaklaşık 1.994 örnekte ortalama Pass@1 oranını %18,77'den %27,18'e çıkardı. Bunları belirli alanlar ve eşleştirmeler üzerinde araştırılmış sinyaller olarak değerlendirin, Birleşik Krallık üretim yığını için evrensel bir garanti olarak değil.

Örnek program yapısı (varsayımlar, ölçülen kazanımlar değil): Eğer ekip bir ITSM döngüsü için yaklaşık 2.000 kalite kontrolünden geçmiş örneklem kabul eder, öğretmen çıkarımı ve incelemesini %5'lik tabakalı örneklemeyle bütçeler ve yalnızca güvenlik açısından kritik sınıflarda gerileme olmadığında terfi ettirirse, yüzlerinde ciddi bir ifadeyle iddia edebilecekleri "sonuç", vaat edilen yüzde artışı değil, süreç olgunluğudur - denetlenmiş müfredat, temizlenmiş izler ve karşılaştırılabilir dondurulmuş sınıf farkları.

Neler ters gidebilir?

• Sentetik verileri ücretsiz gerçek olarak ele almak: İnsan incelemesini veya olumsuz doğrulamayı atlamak, hoşgörülü doğrulayıcıların büyük ölçekte hatalı verileri kabul etmesine olanak tanır.
• Varlık sızıntısı: Orijinal bilet kimliklerini veya öğretmen izlerini oluşturucuya beslemek, aşırı uyarlamaya yol açar; kartlar bunu önlemek için mevcuttur.
• Sınırsız Çarpma: Çarpılan örneklerin sonraki turları başlatmasına izin vermek, belirtilen yetenekten uzaklaşmaya yol açar.
• Spor salonu puanı gönderimi: Dondurulmuş süit Pass@1 yükselirken, bekleme veya üretim gölge trafiği kötüleştiği için tanıtım yapılıyor.
• Zayıf öğretmen performansı: Eğer öğretmen ≥2/3 başarı bandını geçemezse, SFT güvenilir olmayan gösterimler sunar.
• Bulanık doğrulayıcılar: Durum tabanlı kontroller yerine sohbet tabanlı değerlendirme kriterleri, akıcı bir şekilde yapılan yanlış final sınavlarını başarı olarak değerlendiriyor.
• Yetersiz eğitim reddi: Sadece tamamlanabilir mutasyonlar için optimizasyon yapmak, değişim penceresini ve politika düşüşlerini kırılgan hale getirir.
• PII'den kaçış: Yüzeysel bir temizlemeden sonra gerçek CI veya kullanıcı adlarını yeniden tanıtan sentetik istemler.

Pratik çıkarımlar

Teşhis edilmiş eksikliklerden somut, doğrulanabilir ITSM vakalarını çoğaltmak için AutoSynthData tarzı döngüler kullanın veya ServiceNow CoreAI işlem hattı kiracılığınızda mevcut değilse eşdeğer bir başarısızlıktan sentezleme modeli kullanın. Yetenek kartlarına dönüştürün, zorluk ve olumlu/olumsuz doğrulama ile filtreleyin, kişisel verileri temizleyin ve SFT'den önce örnekleri insan incelemesinden geçirin. Hata sınıfı kapsamını, tam eşleşmeyi ve gerileme oranını ölçün. MAKALE İDDİASI Gym rakamlarını yalnızca harici araştırma bağlamı olarak belirtin. Sentez verileri müfredat yakıtıdır, garanti değildir: örnekleri denetleyin, adil karşılaştırma için paketi dondurulmuş halde tutun ve asla Gym puanına dayanarak tek başına yayınlamayın.

SSS

AutoSynthData nedir ve hangi sorunu hedef alır?

Esakkivel Esakkiraja tarafından tanımlanan AutoSynthData, kurumsal ortamlarda hedef ajanın başarısızlıklarını daha güçlü bir öğretmenin başarılarıyla birleştirerek doğrulanmış sentetik eğitim görevleri oluşturan bir ServiceNow CoreAI / ServiceNow-AI işlem hattıdır. Geniş genel bilgi yerine, ortam yetkinliğine (yerel politikalar, şemalar, araçlar ve durum) odaklanır. Amaç, denetimli ince ayarın aynı bozuk bileti tekrar tekrar oynatmak yerine ortama özgü boşlukları giderebilmesi için zorlu, kontrol edilebilir işleri çoğaltmaktır.

Çevre yetkinliği, geniş model yeteneğinden neden farklıdır?

Kurumsal aracılar genellikle ortamın kendine özgü yapısı nedeniyle tökezler: bilet politikaları, şema tuhaflıkları, araç sözleşmeleri, önceden tanımlanmış veritabanları ve sistemler arası iş akışları. Açık kıyaslamalarda güçlü görünen bir model, bir değişiklik penceresinde, bir CMDB ilişkisinde veya son durumu inceleyen bir doğrulayıcıda yine de takılıp kalabilir. Geniş kapsamlı yetenek, sistemlerinizin, kurallarınızın ve veri durumunuzun politika tarafından yönetilen geçişler altında nasıl davrandığını bilmekle aynı şey değildir.

AutoSynthData'nın kullandığı pratik görev şekli nedir?

İşlevsel bir yapı, görevin sistem spesifikasyonu, kullanıcı istemi ve doğrulayıcıya eşit olması şeklinde tanımlanır. Sistem spesifikasyonu, kısıtlamaları, politikaları ve veritabanı başlangıç ​​değerleri ve bilgi makaleleri gibi başlangıç ​​durumunu içerir. Kullanıcı istemleri, uygulanabilirlik, gerçekçilik ve zorluk açısından puanlanır. Doğrulayıcılar ideal olarak SQL tabanlı veya durum tabanlı sonuç kontrollerine dayanır, böylece yalnızca izlenen tam belirteç yolunu değil, ajanın eyleminden sonraki dünyayı da değerlendirirler.

Veri temizleme özelliği uygulanmış kartlar aşırı yüklenmeyi nasıl önler?

Tanısal çalıştırmalar, hedef başarısız olduğunda ve öğretmen başarılı olduğunda karşılaştırma yapar, ardından bu durumları temizlenmiş yetenek-özellik kartlarına dönüştürür. Bir kart, yeteneği, araçları veya iş akışı şeklini, başarısızlık/başarı karşılaştırmasını, gerekli son durum özelliklerini ve değişebilen boyutları kaydeder. Üretici asla orijinal istemleri, varlıkları, yörüngeleri veya doğrulayıcı ayrıntılarını görmez - yalnızca kartları görür - bu nedenle yeni görevler, ezberlenmiş bir bölümü yeniden ifade etmeden temel unsurlara odaklanır.

Üretim sürecindeki Hedef ve Çarpma aşamaları nelerdir?

Hedef aşaması, boşluklar etrafındaki temel, doğrulanmış örneklere odaklanır; zayıf ajanın kırıldığı yerin yakınındaki en yüksek sinyalli görevlere yoğunlaşır. Çoğaltma aşaması, kabul edilen hedeflerin yeni varyantlarını üretir. Çoğaltılan örnekler, daha fazla çoğaltma turunu başlatamaz; bu da, belirtilen yetenekten sapmayı kontrol altında tutar. Denetimli ince ayardan sonra, yeniden değerlendirme, müfredatı statik bir yığın yerine hareketli bir sınır olarak kalan boşluklara doğru kaydırır.

Örneklem düzeyindeki kalite kontrolü, sentetik görevlerin güvenilirliğini nasıl sağlar?

Çözücü zorluk filtresi, hedef kişinin üç denemeden en fazla birinde çözdüğü, öğretmenin ise üç denemeden en az ikisinde başarılı olduğu görevleri tercih eder. Olumlu doğrulama, başarılı olmak için referans bir yörünge gerektirir; olumsuz doğrulama ise başarısız olmak için mutasyona uğramış yanlış sonuçlar gerektirir. Yeniden deneme limiti olan bir eleştiri ve onarım döngüsü, kıl payı kaçırılan durumları düzeltmeye çalışır ve toplu düzeyde meta inceleme, küme genelinde kapsamı, çeşitliliği, fazlalığı ve başarısız hedefleri kontrol eder.

AutoSynthData, kurumsal alanlarda hangi mimariyi kullanıyor?

Paylaşımlı bir denetleyiciyi bir ortam adaptörüyle eşleştirir. Denetleyici, teşhis, kart oluşturma, üretim, öğretmen demoları, kalite kontrolleri ve toplu inceleme işlemlerini yürütür. Adaptör, bu adımları somut bir sanal ortama (araçlar, durum, politikalar ve doğrulayıcılar) bağlar; böylece aynı kontrol döngüsü, müfredat mantığını sıfırdan yeniden yazmaya gerek kalmadan farklı alanlara işaret edebilir.

Bu araştırma bağlamında EnterpriseOps Gym nedir?

EnterpriseOps Gym, yaklaşık 1.150 uzman tarafından hazırlanmış görevi, 8 etki alanını, yaklaşık 512 aracı, yaklaşık 164 veritabanı tablosunu, konteynerleştirilmiş yürütmeyi, SQL tabanlı sonuç doğrulamasını, politikaya dayalı işlemleri, hibrit senaryoları ve uzun vadeli durum tabanlı yörüngeleri içeren, stres testi ortamı olarak kullanılan büyük ölçekli kurumsal ajan test platformudur. AutoSynthData, bu platformu icat eden bir araç olarak lanse edilmez; platform, sentez döngüsünün işleyişini gösterir.

Hibrit ve ITSM ayarları için yazar tarafından bildirilen sonuçlar nelerdir?

EnterpriseOps Gym'de, hedef olarak Gemma-4-26B-A4B-it ve öğretmen olarak Qwen3.8-27B ile yapılan Hybrid çalıştırmaları, yaklaşık 18 saatte yaklaşık 2.000 örnek üretti; ortalama Pass@1 oranı yaklaşık 7,2 puan arttı ve doğrulayıcı başarısı %63,01'den %68,55'e yükseldi. Öğretmen olarak DeepSeek-V4.1-Flash ile yapılan ITSM çalıştırması ise daha uzun bir çalıştırmada yaklaşık 1.994 örnek üzerinde ortalama Pass@1 oranını %18,77'den %27,18'e çıkardı. Bunları belirli eşleştirmeler üzerinde araştırılmış sinyaller olarak değerlendirin, evrensel bir üretim garantisi olarak değil.

Başarısızlıklardan sentezleme döngülerini kullanırken takımlar hangi hatalardan kaçınmalıdır?

Sentetik verileri ücretsiz gerçek olarak kabul etmeyin veya insan incelemesini ve olumsuz doğrulamayı atlamayın. Orijinal bilet kimliklerini veya öğretmen izlerini jeneratöre beslemekten, çoğaltılmış örneklerin daha sonraki turları başlatmasına izin vermekten veya Gym Pass@1'de tek başına tanıtım yapmaktan kaçının; bu sırada bekleme veya gölge trafiği kötüleşir. Ayrıca, başarı bandının altındaki zayıf öğretmenlere, durum kontrolleri yerine belirsiz sohbet değerlendirme kriterlerine, yetersiz eğitim reddi vakalarına ve yüzeysel bir temizlikten sonra kişisel verilerin sızmasına dikkat edin.

Referanslar

1. Hugging Face — AutoSynthData — huggingface.co
2. EnterpriseOps Gym — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com