CLM-8B Yayınlandı: Ajanlar İçin Jev'den 9 Kata Kadar Daha Hızlı Olduğunu İddia Eden Yeni Açık Yapay Zeka Modeli

Kısa cevap: CLM-8B, hızlı ajan kararları hedefleyen açık kaynaklı bir Karşılaştırmalı Dil Modelidir ve yazarları, Jev sınıfı emsallerine göre yaklaşık 9 kat daha düşük gecikme süresi iddiasında bulunmaktadır. Bu rakamlar, sürüm kurulumu dışında doğrulanmamıştır. Kodlama ajanları geliştiriyorsanız, grafiklere güvenmeden önce kendi test ortamınızda A/B testi yapın.

Önemli noktalar:

Gecikme iddiaları: Başkaları bunu tekrar edene kadar, Jev'in yaklaşık 9 kat hız artışını yazar tarafından bildirilen bilgi olarak kabul edin.

Değerlendirme düzeneği: CLM-8B'nin A/B testinde sabit tutulan araçlar ve uyarılar.

Hibrit yığın: Sık kullanılan döngüler için CLM kullanın; yeni görevler için daha yavaş bir mantık yürütücü bulundurun.

Ağırlıkları açın: Ticari sürümleri göndermeden önce Apache lisans dosyalarını doğrulayın.

Kötüye kullanım riski: Ajanların milisaniyeler içinde karar verdiği durumlarda, geri alınabilir araçlara ve gizli bilgilere erişim engellenir.

CLM-8B Ne Olmaya Çalışıyor? ⚡

Bu yöntemi savunanların tanımladığı gibi, Karşılaştırmalı Dil Modeli eğitimi, tek başına bir sonraki belirtecin olasılığını en üst düzeye çıkarmak yerine, durumları ve eylemleri birbirine bağlamakla ilgilidir. Daha açık bir ifadeyle: model, bir romancıdan ziyade bir politika yöneticisi gibi, "işte durum"u "işte hamle"ye dönüştürmeye yönlendirilir. Bu, araştırmacıların sürekli olarak başvurduğu Sistem 1 benzetmesidir - hızlı, çağrışımsal, karar odaklı - bunun aksine, uzun düşünce zincirine sahip ve yüksek sesle düşünürken belirteçleri tüketen Sistem 2 yaklaşımından farklıdır.

CLM-8B, bu serideki ilk halka açık ağırlık setidir. Apache 2.0 lisansı ; bu da, avukatlarla uğraşmadan ince ayar yapmak, yayınlamak veya çatallamak istiyorsanız önemlidir. Jacky Kwok çalışmayı tanıttı; Azalia Mirhoseinibunu genişletti; ve daha geniş çerçeve, Stanford ve NVIDIA bağlantılı bir ekip çalışmasını resmediyor. Adı geçen araştırmacılar, halka açık ağırlıklar, açık kod - anonim bir sızıntı değil. Üçüncü taraf kopyalama için henüz erken, bu nedenle şüphecilik seviyesini "ilginç" ile "bana bağımsız kartı gösterin" arasında bir yerde tutun.

Sekiz milyar parametrelik boyut sınıfı, laboratuvarların ve bağımsız geliştiricilerin H100 zamanı için böbreklerini satmadan barındırabileceği kadar küçüktür. Daha büyük bir CLM-35B modelinin piyasaya sürülmesiyle ilgili konuşmalar şimdiden başladı. Bu daha büyük kardeşin gecikme süresini koruyup korumayacağı veya hızı derinlikle takas edip etmeyeceği henüz belli değil, ancak yol haritası sinyali açık: bu, tek seferlik bir demo kartı değil, bir aile olarak tasarlanmıştır.

•  Odak noktası: makale yazımı değil, aracılar için durum → eylem döngüleri
•  Yayınla ilgili haberlerde lisanslama, Apache 2.0 olarak çerçevelendi
•  Stil: Sistem 1 / karar odaklı eğitim öyküsü
•  Devam niteliğinde: Daha büyük bir CLM-35B'nin planlandığı belirtildi

Sistem 1 Stili ile Alışılagelmiş Jetonlu Koşu Bandı Karşılaştırması 

Bildiğiniz çoğu üretim aşamasındaki LLM (Lineer Öğrenme Modeli), metni tek tek belirteçler halinde üretir. Bu, düz yazı, kod dökümü ve dikkatli akıl yürütme izleri için harika çalışır. Ancak bu aynı zamanda, dakikada yirmi mikro karar vermesi gereken bir ajanın, model "akıllı" olsa bile neden yavaş hissettirdiğinin de nedenidir. Her adımda otoregresif vergi ödenir.

Karşılaştırmalı Dil Modeli yaklaşımı, vurguyu tersine çevirir. Ağdan bir cevaba ulaşmak için anlatım yapmasını istemek yerine, ona bir duruma göre doğru eylemi tercih etmesi için eğitim verirsiniz - sadece akıcı devamlılıklar değil, iyi ve kötü hamleler arasında karşılaştırmalı çekişmeler düşünün. Geliştiriciler zaten bu kalıbı biliyor: bazen bin kelimelik bir gerekçeye ihtiyacınız yok; modelin rm -rf yerine pytest yazması gerekiyor . Hızlı döngüler bu ayrımı önemser.

Bunların hiçbiri CLM-8B'nin metin üretemediği anlamına gelmez. Bu, eğitim hedefinin ve değerlendirme öyküsünün ajans kontrolüne yönelik olduğu anlamına gelir. Bu, "araç çağrısı da yapabilen sohbet modeli"nden farklı bir ürün şeklidir. Sektör, araçlar hakkında konuşma konusunda daha iyi modeller geliştirmek için yıllarını harcadı, ancak konuşmanın kendisinde hala darboğaz yaşıyor. Karar öncelikli bir model, geriye dönüp bakıldığında bariz görünen veya kıyaslama ölçütleri birbirine karışınca başarısız olan türden bir yanal hamledir. Her iki sonuç da mümkündür.

İddia Edilen Hız ve Sıra Numaraları (İddia Olarak Değerlendirin)

Sosyal medya paylaşımlarını tetikleyen kısım şu: Destekçiler, Jev sınıfı modellere göre yaklaşık 9 kat daha hızlı çıkarım. Hafif ince ayardan sonra, güçlü ajan tabanlı kodlama sonuçları da bildiriyorlar - DeepSWE yaklaşık %81,6 başarı oranı ve Terminal-Bench 2.1 yaklaşık %87,6 başarı oranı. Bazı değerlendirmelerde, sıfır atış performansının Jev ile karşılaştırılabilir olduğunu, gecikmenin ise çok daha düşük kaldığını belirtiyorlar. Yayın duyurusunda yer alan bir küme özetinde, terminal test ortamında yaklaşık 32 ms sınıfı yanıt sürelerinden bahsediliyor. Bunu dikkatlice ifade edelim: Bu makalede bağımsız olarak denetlenmemiş, sadece bildirilen ve iddia edilen bir bilgidir.

Eğer bu gecikme rakamları genelleşirse, pratik kazanım, eş zamanlı ajan başına daha az GPU veya GPU başına daha fazla ajan olacaktır. Bir kabuğu aşırı derecede kullanan kodlama ajanları özellikle hassastır çünkü gerçek zamanlı bekleme süreleri birikir; 200 ms'lik bir karar ve 30 ms'lik bir karar, birkaç yüz turdan sonra farklı sonuçlar gibi gelir. Kullanıcılar genellikle "modelin aptalca davrandığını" söylerken, asıl acı etkileşimsel gecikmedir.

Yine de - ve bu yetişkin gözetimi gerektiren paragraf - yazar test ortamları, başkası bunları paylaşılan donanım ve paylaşılan komutlarla yeniden üretene kadar pazarlama amaçlıdır. Hafif ince ayar sonuçları da birçok iskeleti gizleyebilir. Güçlü DeepSWE ve Terminal-Bench rakamları heyecan vericidir çünkü bu test paketleri kırılgan ajanları cezalandırır, ancak heyecan kopyalama anlamına gelmez. 9 kat ve 32 ms sınıfı rakamına "İDDİA" yazan bir not yapıştırın. 

Karşılaştırma Tablosu: Token Bazlı LLM'ler ve CLM Tarzı Çerçeveleme

Pazarlama dili karmaşıklaştığında tablolar yardımcı olur. Bu tablo, tipik LLM oluşturma alışkanlıklarını, araştırmacıların tanımladığı şekliyle Karşılaştırmalı Dil Modeli öyküsüyle karşılaştırıyor. Hücreler kasıtlı olarak biraz düzensizdir çünkü somut karşılaştırmalar her zaman böyledir.

Tabloyu bir yargı kararı olarak değil, zihinsel bir model olarak kullanın. Ürün ekiplerinin kendi kapasitelerini ölçmeleri gerekiyor: araç şemaları, yeniden deneme politikası ve ortam gürültüsü, sunum slaytlarının gösterdiğinden daha fazla puanları etkileyecektir.

Gürültünün Arkasındaki Kim? 👤

Atıf önemlidir çünkü açık yapay zeka yazılımları, özenle hazırlanmış laboratuvar sürümlerinden gizemli torrentlere kadar çeşitlilik gösterir. Bu yazılımda ise bazı kişiler var. Jacky Kwok, CLM'yi tanıttı; Azalia Mirhoseini, daha geniş kitlelere ulaşmasına yardımcı oldu; haberler sürekli olarak Stanford ve NVIDIA bağlantılı bir araştırma iş birliğini vurguluyor. Bu, her sayının sihirli bir şekilde doğru olduğu anlamına gelmez, ancak itibar açısından bir risk oluşturur. Adı geçen araştırmacıların açık kaynaklı yazılımları, anonim yazılımlara göre daha hızlı bir şekilde test edilir; çünkü meslektaşlar kamuya açık bir hedefi severler.

Geliştiriciler için pratik anlamı erişimdir. Açık kaynaklı yazılımlar ve Apache 2.0 tarzı bir lisans (lansman sırasında ele alındığı gibi), genellikle yalnızca araştırma amaçlı lisanslara kıyasla daha az sorunla ticari olarak denemeler yapabileceğiniz anlamına gelir. Herhangi bir şey göndermeden önce, sürümdeki gerçek lisans dosyalarını kendiniz kontrol edin; kapsam özetleri bir sözleşme değildir. Bu kulağa titizlik gibi gelebilir, ancak lisans titizliği yeni girişimleri kurtarır.

Sosyal yayılım modeli tanıdık: araştırmacı paylaşımı, saygın bir destekçinin alıntı paylaşımı, ardından "ajanlar sonunda çözdü" şeklinde bir paylaşım dalgası. Bağlantı detaylarını paylaşan kişileri filtreleyin. Tek bir başarılı kodlama çalışmasının ekran görüntüleri bilim değil, duygu gösterisidir. 🛰️

Durumdan Eyleme Döngülerinin Kendi Temsilci Kodlamasına Sahip Olmasının Nedenleri 

Ajan tabanlı kodlama acımasız bir ortamdır. Model bir depo anlık görüntüsü, bir kabuk dökümü, belki de başarısız bir test görür ve bir düzenleme veya bir komut seçmek zorundadır. Başarı, sohbetten çok ikili bir durumdur. Ya test başarılı olur ya da olmaz. Bu ödül yapısı, güzel başarısızlık denemeleri yazan modellere kıyasla, eylemleri temiz bir şekilde seçen politikaları destekler.

Karşılaştırmalı eğitim öyküleri bu dünyaya uyuyor çünkü ağın belirli bir durumda tercih edilen eylemlere doğru yönlendirilmesini açıkça sağlıyorlar. Bunu, genç bir mühendise "derleyicilerin neden zor olduğuna dair bir blog yazısı yaz" demek yerine "bu hata sınıfını gördüğünde, bu düzeltme modelini kullan" demeyi öğretmek gibi düşünün. Genç mühendisin yine de muhakeme yeteneğine ihtiyacı var; kısayol sadece kararsızlığı azaltıyor.

Gecikme burada katlanarak artıyor. Diyelim ki bir ajan, orta ölçekli bir hata düzeltmesini gerçekleştirmek için ortalama seksen araç adımı atıyor. Adım başına 150 ms tasarruf ederseniz, on iki saniyelik gerçek zaman kazanmış olursunuz; bu da bir akış durumu ile kullanıcının e-postalarını kontrol etmek için alt tuşuna basıp başka bir sisteme geçmesi arasındaki farktır. Ajan filoları çalıştıran ekipler, bulut bilişimdeki bu matematiğin de faturalarını etkilediğini hissediyor. Jev sınıfı bir rakibe kıyasla iddia edilen bir büyüklük mertebesinde çıkarım hızlanması, gerçek hayatta "sadece" 4 kat olsa bile, kapasite planlamasını yeniden düzenliyor.

Toplantılarda sürekli kullandığım, biraz sallantılı bir metafor var: belirteç bazlı sohbet modelleri, her kavşakta rotayı tartışmaya benzerken, Sistem 1 tarzı bir kontrolcü şehir içi sürüş için kas hafızasına daha çok benziyor. Kas hafızası yeni bir şehirde işe yaramaz. Depo kültürü kendine özgü olduğunda, dar bir şekilde ayarlanmış eylem modeli de işe yaramaz. Yeni mimari seçimler için yine de düşünceli modlara ihtiyacınız var; ellinci "içe aktarmayı düzelt ve yeniden çalıştır" komutu için reflekslere ihtiyacınız var. Hibrit yığınlar - hızlı CLM benzeri kontrolcü artı zorlu dallarda daha ağır bir akıl yürütücü - muhtemelen ciddi sistemlerin yerleştiği yerdir, lansman gönderileri tek bir kahraman modeli satıyor olsa bile. 🚦

Ayrıca şunu da yüksek sesle söylemekte fayda var: DeepSWE ve Terminal-Bench , iskelelemeyi ödüllendiriyor. Araç kalitesi, araç izin listeleri ve kurtarma istemleri, başarı oranlarını çift haneli rakamlara kadar değiştirebilir. Hafif ince ayardan sonra ~%81,6 veya ~%87,6 gibi bir oran gördüğünüzde, ağırlıkların etrafında hangi sarmalayıcının yer aldığını araştırın. Bu bir eleştiri değil; alanın işleyiş biçimi bu.

Açık Ağırlıklar, İnce Ayar ve 35B Gölgesi 

Açık ağırlıklar, bir iddianın sosyal dinamiklerini değiştirir. Kapalı API modelleri bir grafik gösterebilir ve kirlenme, kod çözme hileleri veya gizli sistem uyarıları hakkında tahmin yürütmenize neden olabilir. İndirilebilir parametrelerle en azından sistemi kurcalayabilirsiniz. Dahili kodlama ortamınız için (lint kurallarınız, dağıtım CLI'niz, monorepo topolojiniz) CLM-8B'yi ince ayar yapmak, parlak performans rakamlarına ulaşmanın gerçekçi yoludur, ilk günden sıfır atışlık sihir değil.

(Kapsamda belirtildiği üzere) Apache 2.0 çerçevesi geliştirici dostudur: patent verme dili, net yeniden dağıtım normları, daha az "sadece araştırma amaçlı" tuzak. Tekrar ediyorum: dosyaları okuyun. Kapsam yazarları özetler; avukatlar uzmanlaşır.

Planlanan CLM-35B, yol haritasındaki en büyük sorun. Daha büyük modeller genellikle daha kontrollü bir sürüş sunarken, damıtma veya spekülatif hileler gecikmeyi kontrol altında tutmadığı sürece "küçük ve son derece hızlı" cazibesinin bir kısmını kaybediyor. Eğer sekiz milyarlık varyant spor otomobil, otuz beş milyarlık varyant ise tur sedanı ise, ekipler her ikisini de tutabilir: 8B hızlı turlar için, 35B ise zorlu planlama için. Ya da donanım ucuzlamaya devam ederse, daha büyük model basitçe hakim olabilir. Hangi geleceğin geleceği henüz belirsiz; geleceğin sürüm notları karar verecek, bu paragraf değil.

Açık kaynaklı ajan modellerinin ince bir riski var: insanlar bunları hız sınırlaması olmadan CI'ya entegre edecek ve kötü amaçlı README dosyaları aracılığıyla anında enjeksiyonu keşfedecekler. Hızlı modeller, pratik değeri artırdıkları gibi kötüye kullanımı da artırır. Güvenlik önlemleri isteğe bağlı bir kostüm değil; ürünün kendisidir. 

• Kaliteyi değerlendirmeden önce kendi izlerinizde ince ayar yapın
• Yavaş düşünen birini yeni görevler için bir kaçış yolu olarak saklayın
• Sadece doğruluk değil, aynı zamanda koşum takımınızdaki p50/p95 cihaz gecikmesi de önemli
• 35B'nin Pareto sınırını tekrar kaydıracağını varsayalım

Jev Karşılaştırmasını Anlamadan Okumak 

Jev sınıfı modellerle yapılan karşılaştırmalar retorik bir işlev görüyor. Ajan hızı kademesinde bir eşdeğer oluşturuyorlar, böylece "9 kata kadar daha hızlı" ifadesinin bir referansı oluyor. Göreceli iddiaların bir dayanağa ihtiyacı vardır ve bu doğrudur. Tehlike, tüm değerlendirme yığınını tek bir çarpana indirgemektir. Toplu işlem boyutu, hassasiyet, kod çözme ayarları, bağlam uzunluğu ve araç çağrısı serileştirmesi, "daha hızlı"nın ne anlama geldiğini yeniden şekillendirir ve bu ayarlar nadiren aynı slaytta görünür.

Bir küme özetinde terminal ortamında ~32 ms sınıfı yanıtlar belirtildiğinde, "yanıt"ın ilk belirteç mi, tam eylem JSON'u mu yoksa önbelleğe alınmış bir önek mi olduğu açıkça belirtilene kadar belirsiz bir etiket olarak ele alınmalıdır. Bu ayrımlar, pazarlama milisaniyelerini mühendislik saatlerine dönüştürür. Daha düşük gecikmeyle karşılaştırılabilir sıfır atış kalitesi, ideal bir eşleşmedir; bağımsız gruplar bu idealin yarısını bile doğrularsa, CLM tarzı eğitim mimari toplantılarında kalıcı bir yer edinir.

O zamana kadar, Jev'i kesinleşmiş bir liderlik tablosundan ziyade bir rekabet anlatısı olarak ele alın. Rekabetler gönderi satar. Üretim KPI'larınız anlatıyla ilgilenmez. Görev başarısını, çözülen bilet başına doları ve insan müdahale oranını ölçün. Eğer Karşılaştırmalı Dil Modeli'nin bir çatalı bunları kazanırsa, kutlayın. Sadece Twitter'ı kazanırsa, yolunuza devam edin. 🚶

Küçük bir çelişki zamanı: rekabet anlatıları hâlâ etkisini sürdürüyor. Laboratuvarları, havai duygular yerine rakamlar yayınlamaya zorluyorlar. Ancak skor tablosunu sporla karıştırmayın.

Bu Sürümün Doğru Yapılması Gerekenler 

CLM-8B'nin haber döngüsünün ötesinde bir önem kazanması için birkaç şeyin gerçekleşmesi gerekiyor:

• Tekrarlanabilirlik: Dış gruplar, başlıkta belirtilen gecikme sürelerini ve kodlama başarı oranlarını belgelenmiş yöntemlerle eşleştirebilmelidir.
• Şeffaflıktan yararlanın: DeepSWE ve Terminal-Bench puanlarını üreten aracı sarmalayıcı ayrıntılarını paylaşın.
• Laboratuvar telepatisini varsaymayan dokümanlar: net ince ayar komut dosyaları, değerlendirme komutları ve donanım notları.
• Hata modları: Sistem 1 tarzı kararların nerede çöktüğünü gösterir - yeni API'ler, belirsiz biletler, güvenlik açısından hassas işlemler.
• Yükseltme yolu: CLM-35B'nin nasıl ilişkili olduğunu açıklığa kavuşturun, böylece ekipler sistemlerini 8B çıkmazına sürüklemesinler.

Eğer bu kutular boş kalırsa, model sadece ilginç bir kağıt ağırlığı haline gelir. Eğer dolarsa, ajan platformları somut bir bileşen seçeneği elde eder: zorlu düşünme için bilinçli LLM, hızlı hareket eden eller için karşılaştırmalı hızlı model. Bu iş bölümü, tek bir mega modelin her gecikme bütçesinde her işi yapması gerektiği yanılsamasından daha olgun bir yaklaşım gibi geliyor.

Nakliye acenteliği yapan inşaatçılar için pratik çıkarımlar 

Yarın sisteminizi yeniden yazmanıza gerek yok. Ancak hızlı karar veren modelleri değerlendirmek için bir plana ihtiyacınız var. Öncelikle, ajanınızın gecikme açısından kritik bir bölümünü - belki de terminal mikro döngüsünü veya "sonraki grep'i seç" adımını - ayırın ve mevcut iş yükünüzdeki CLM-8B ince ayarını A/B testiyle karşılaştırın. Test ortamını sabit tutun. Her şeyi kaydedin.

Sessiz kalite gerilemelerine dikkat edin: Yüksek riskli veri depolarında, anında ve kendinden emin bir şekilde yanlış eylemlerle yanıt veren modeller, yavaş ve doğru olanlardan daha kötüdür. Doğrulama adımları ekleyin. Geri alınabilir araçları tercih edin. Güven düşük olduğunda ikinci bir model çağrısı için bütçe ayırın - evet, bu hız kazanımının bir kısmını ortadan kaldırır ve bu sorun değil. Frensiz hız, demoların kesintilere dönüşmesinin nedenidir.

Organizasyon tarafında, kapasite tablolarını yalnızca saniyedeki token sayısı yerine "GPU başına saniyedeki işlem sayısı" sütunuyla güncelleyin. Ajan tabanlı iş yükleri, şiirsel verimlilikten ziyade kararlarla ilgilenir. Yazarların ~9 kat iddiası donanımınızla kısmen bile olsa temas ederse, elektronik tablonuz farklı görünecektir. Eğer öyle olmazsa, ucuz bir ders almış olursunuz.

Ve lütfen, operasyonların iyiliği için, model "güvenli" diye düşündünüz diye üretim sırlarını deneysel bir ajana yapıştırmayın. Hızlı ve açık kaynaklı modeller, kimsenin incelemediği gölge sistemlerin oluşturulmasını kolaylaştırır. Süreç hala önemlidir. 

Hâlâ Açıkta Kalan Konular 

Henüz çözüme kavuşmamış birkaç konu, tam anlamıyla tanıtım moduna geçmemi engelliyor:

• Bildirilen kodlama başarısının ne kadarının ağırlıklardan, ne kadarının ince ayar verilerinden ve sarmalayıcıdan kaynaklandığı belirsizliğini koruyor.
• Sistem 1 çerçevesi, görevler yerel reflekslerden ziyade uzun vadeli planlama gerektirdiğinde incelir.
• CLM-35B, gecikme süresi konusundaki başarısını koruyabilir veya orta ölçekli güçlü bir LLM olarak yerini sağlamlaştırabilir.
• Dağıtım değişiklikleri (yeni diller, yeni bulut komut satırı arayüzleri, düşmanca depolar) karşısında zıt eylem tercihleri ​​kırılgan hale gelebilir.
• Eylemlerin milisaniyeler içinde gerçekleştiği durumlarda güvenlik hikayesinin hâlâ detaylandırılması gerekiyor.

Bunlar, ekibi küçük düşürmek için eklenmiş tuzaklar değil. Bunlar, ciddi bir benimseme incelemesinin yapması gereken kontrollerdir. Erken açık sürümler, körü körüne kurulumları değil, dikkatli incelemeyi ve sorgulamayı hak eder.

Özetle 

CLM-8B, ajanlar için hızlı durum-eylem davranışını hedefleyen, Apache tarafından çerçevelenmiş (kapsama alanı bazında) açık kaynaklı bir Karşılaştırmalı Dil Modelidir. Jacky Kwok tarafından Azalia Mirhoseini'nin desteğiyle kamuoyuna sunulan ve Stanford/NVIDIA bağlantılı bir araştırma olarak çerçevelenen modelin öne çıkan iddiaları arasında, Jev sınıfı çıkarımdan yaklaşık 9 kat daha hızlı olması, hafif ince ayardan sonra güçlü DeepSWE ve Terminal-Bench sonuçları, çok daha düşük gecikmeyle karşılaştırılabilir sıfır atış kalitesi ve ~32 ms sınıfı terminal yanıtları hakkında konuşmalar yer almaktadır. Bu iddialar yazarlar tarafından raporlanmıştır ve geniş çaplı üçüncü taraf onayını beklemektedir. Daha büyük bir CLM-35B modeli de ufukta görünmektedir.

Eğer ajan tabanlı kodlama sistemleri geliştiriyorsanız, bu, bir din gibi değil, odaklanmış bir değerlendirmeye değer. Bunu hibrit bir yığında aday bir Sistem 1 denetleyicisi olarak ele alın, kendi testlerinizi yapın ve bağımsız çalıştırmalar tamamlanana kadar her şemada "İDDİA" etiketini yapıştırın. İlginç olan, yeni bir logoya sahip başka bir sohbet modeli değil. İlginç olan, karar odaklı eğitimin, ajanların pervasızca yanlış yapmalarına yol açmadan, kendilerini anında hissetmelerini sağlayıp sağlayamayacağıdır.

Pratik örnek: CLM-8B için gecikme açısından kritik bir ajan mikro döngü değerlendirmesi oluşturma

CLM-8B Yeni Çıktı: Ajanlar İçin Jev'den 9 Kata Kadar Daha Hızlı Olduğunu İddia Eden Yeni Açık Yapay Zeka Modeli başlıklı yazarın grafikleri ikna edici görünebilir; ancak geçerli olan tek şey sizin değerlendirmenizdir. İşte Birleşik Krallık'tan bağımsız bir araç geliştirme ekibinin CLM-8B'yi bir sohbet uygulaması yerine geçecek bir sistem 1 kontrolcüsü adayı olarak nasıl ele aldığı ve kendi terminal mikro-döngülerinde nasıl ölçtüğü.

Senaryo

Sam, çoklu dosya yeniden düzenlemeleri için zaten daha ağır bir kodlama aracı kullanan küçük bir ürün yönetiyor. En can sıkıcı kısım, döngüsel işlem: başarısız bir test dökümünü oku, bir sonraki kabuk veya düzenleme eylemini seç, çalıştır, tekrarla. Kullanıcılar, sıkıcı cevaplardan ziyade, elli araç adımında yaşanan kış eldiveni gecikmesinden şikayet ediyorlar. Sosyal medya paylaşımları, Karşılaştırmalı Dil Modeli ağırlıklarını ve Jev sınıfı rakiplerine kıyasla iddia edilen ~9 kat hızlanma artışını, ayrıca hafif ince ayardan sonra güçlü DeepSWE / Terminal-Bench rakamlarını güçlendiriyor. Sam, üretim kodunu basın grafiğine göre yeniden yazmayı reddediyor.

Gecikme açısından kritik olan tek bir mikro döngü oluşturuyorlar: kendi monorepolarından yirmi adet sabit hata düzeltme izi. Mevcut iş yükü taşıyan sistem, yeni mimari biletleri için karar verme yolunu koruyor. CLM-8B - eğer barındırılır ve kendi izleri üzerinde hafifçe ince ayar yapılırsa - yalnızca "sonraki geri alınabilir eylemi seçme" adımında rekabet etmesine izin veriliyor; güven düşük olduğunda ise daha yavaş bir akıl yürütücü kaçış yolu olarak kullanılıyor.

Amaç, aynı araçları, aynı izin verilenler listesini ve aynı yeniden deneme politikasını kullanarak bir A/B testi yapmaktır. Saniye başına eylem sayısını, p50/p95 gecikmesini, görev başarısını ve insan müdahalelerini kaydedin; ardından açık ağırlıkların bir koltuk kazanıp kazanmayacağına karar verin.

Asistanın ihtiyaç duyduğu şeyler

• Gerçek çalışma ortamından alınmış, anonimleştirilmiş yirmi adet başarısız test kaydı (yalnızca girdiler ve izin verilen araçlar)
• Sabit bir aracı sarmalayıcı: araç şeması, izin verilenler listesi, maksimum adımlar ve "yavaş çağrı mantığı" dalı
• Aynı yirmi görev için mevcut modeldeki başlangıç ​​puanları
• CLM-8B ana bilgisayarının donanım notları (GPU sınıfı, hassasiyet, toplu işlem) böylece "daha hızlı" ifadesi bir referansa sahip olur
• Bir İDDİA etiketi kuralı: yazar DeepSWE / Terminal-Bench / ~9× / ~32 ms rakamları, bu donanım bir şeyi yeniden üretene kadar etiketli kalır
• Herhangi bir CI eklentisi yapılmadan önce, hatalı ancak hızlı eylemleri gözden geçiren bir insan sahibi

Örnek talimat

Kodlama aracımız içindeki hızlı durum→eylem denetleyicisi olarak CLM-8B için adil bir A/B testi tasarlamama yardımcı oluyorsunuz. Yalnızca buraya yapıştırdığım test verilerini kullanın. Gecikme çarpanları, DeepSWE puanları veya lisans koşulları uydurmayın.

Görev: Yirmi görev adımdan ve mevcut temel notlarımdan yola çıkarak, (1) Görev / Model / Adımlar / Süre / Başarı (geçti/kaldı) / İnsan müdahalesi (evet/hayır) / Notlar sütunlarına sahip bir puanlama tablosu, (2) modeller arasında aynı yapıyı koruyan altı maddelik bir protokol ve (3) CLM-8B'nin mikro döngüyü ne zaman kontrol edebileceği ve ne zaman yavaş akıl yürütücüye geçebileceğimiz konusunda açık ve günlük bir dille yazılmış bir karar kuralı taslağı hazırlayın.

Kısıtlamalar: İngiliz İngilizcesi. Yazar tarafından bildirilen her sayıyı, görünüyorsa, "İDDİA" olarak etiketleyin. Geri alınabilir araçları tercih edin. "Ajanlar sonunda çözdü" ifadesini yasaklayın. Eğer yapıştırdığım metinde bir ölçüt eksikse, tahmin etmek yerine [ÖLÇÜM GEREKLİ] yazın.

Çıktı: Puanlama tablosunun başlığı ve yer tutucular kullanılarak doldurulmuş bir örnek satır, protokol maddeleri ve ardından yükseltme/tutma kuralı. Giriş bölümü yok.

Nasıl test edilir?

• Aynı on izleme işlemini mevcut ana makinede ve aynı sarmalayıcıya sahip bir CLM-8B ince ayar makinesinde çalıştırın. Yalnızca gerçek zaman ve başarı oranlarının farklı olduğunu doğrulayın; araç listelerinde farklılık olmamalıdır.
• Şöyle sorun: "Bu hafta hangi yazar grafiği üretimi değiştirebilir?" İyi bir cevap: Bu test, başarı ve gecikme sürelerinde birlikte bir kazanım gösterene kadar hiçbiri.
• Uç durum: CLM-8B, yıkıcı bir komut önerisiyle yaklaşık 30 ms içinde yanıt veriyor - CI'dan önce izin verilenler listesini ve insan incelemesini doğrulayın ve hatayı yakalayın.
• Uç durum: Yirmi izlemenin dışında yeni bir API bileti - yavaş akıl yürütücünün buna sahip olduğunu, refleks modelinin olmadığını doğrulayın.
• Kabul kontrolleri: (1) ölçülen sonuç olarak uydurulmuş 9× iddiası yok, (2) p50 ve p95 gecikmesi kaydedildi, (3) başarı paydası yirmi görevdir, (4) yanlış-hızlı eylemler sayıldı, (5) herhangi bir ticari sevkiyat planından önce Apache/lisans kontrolü çevrimdışı olarak gerçekleştirilir.

Sonuç

Örnek sonuç (üç kişilik bir araç geliştirme ekibi için yirmi sabit monorepo izleme üzerinde örnek tahmin, yazarların testlerinin bağımsız bir laboratuvar tekrarı değil): Temel iş yükü, insan yardımı olmadan 20 izlemeden 14'ünü tamamladı; ortalama adım gecikmesi yaklaşık 180 ms; yanlış bir düzenlemeden sonra iki izleme insan müdahalesine ihtiyaç duydu. Dahili izlemelerde (aynı sarmalayıcı) CLM-8B'nin hafif bir ince ayarından sonra, 20 izlemeden 15'i yardım olmadan geçti; tek GPU'lu ana bilgisayarlarında ortalama adım gecikmesi yaklaşık 45 ms; ek bir yanlış hızlı işlem, uygulamadan önce izin verilenler listesi tarafından yakalandı. Yirmi izleme paketinin toplam süresi, doğrulama adımları dahil olmak üzere yaklaşık 38 dakikadan yaklaşık 22 dakikaya düştü. Hijyen kontrol listesinde (donanım sabit tutuldu, CLAIM etiketleri yazar çizelgelerinde tutuldu, yavaş akıl yürütücü hala yeni biletler için kullanıldı, deneysel ajanda üretim sırları yok), 5 inceleme maddesinin 5'i de geçti. Sınırlamalar: küçük görev kümesi, tek donanım sınıfı, veri kalitesinin ince ayarı ön planda; bu durum, yazarların ~9 kat veya DeepSWE rakamlarını bu test ortamı dışında doğrulamamaktadır.

Kendi versiyonunuzu ölçmek için: yirmi izi dondurun; önce mevcut modeli puanlayın; belgelenmiş hassasiyet/ayarlar ile CLM-8B'yi çalıştırın; aynı sarmalayıcı ile yeniden çalıştırın; başarı/n, p50/p95, müdahaleler ve herhangi bir İDDİA numarasının gerçek olarak ele alınıp alınmadığını raporlayın.

Neler ters gidebilir?

• Grafik hayranlığı: Kendi p95'inize ihtiyaç duymadan ~9x slayt üzerinde gönderim yapmak.
• Hızlı ve yanlış hareketler: Yüksek riskli işlemlerde yavaş ve doğru hareketlerden ziyade anlık ve kendinden emin hataların etkisi.
• Koşum takımı kayması: Modeller arasında araç komutlarını değiştirmek ve bunu model kazanımı olarak adlandırmak.
• Tek kahramanlı yığın: Yenilikçi mimari çalışmaları için düşünceye dayalı akıl yürütmeyi bırakmak.
• Lisans konusunda geçiştirme: Ağırlık deposu lisans dosyaları yerine kapsam özetlerine güvenmek.
• Shadow CI: Hız sınırlamaları veya enjeksiyon incelemesi olmaksızın, hızlı ve açık kaynaklı bir ajanı işlem hatlarına entegre etme.

Pratik çıkarımlar

CLM-8B, açık ağırlıklar, karar odaklı hikaye ve yazar tarafından bildirilen hız iddiaları içeren, ajan tabanlı kodlama için aday bir Sistem 1 denetleyicisi olarak odaklanmış bir değerlendirmeyi hak ediyor. Bu bir ilke veya sisteminiz için kanıtlanmış bir 9 kat hız artışı değildir, ta ki test ortamınız bunu onaylayana kadar. Sarmalayıcıyı sabit tutun, saniyedeki eylemleri ve yanlış-hızlı oranını kaydedin, daha yavaş bir kaçış yolu bulundurun ve bağımsız testler (sizinkiler de dahil) tamamlanana kadar her baskı grafiğinde İDDİA etiketini bırakın.

SSS

CLM-8B nedir ve emlak geliştiricileri neden bundan bahsediyor?

CLM-8B, Karşılaştırmalı Dil Modeli serisinin ilk halka açık ağırlık setidir; sadece bir sohbet beyni değil, ajanlar için hızlı bir karar döngüsü olarak sunulan açık bir araştırma sürümüdür. Eğitim süreci, durumları eylemlere yavaş bir sonraki belirteç denemesinden ziyade Sistem 1 refleksine daha çok benzeyen bir şekilde bağlar. Sekiz milyar parametreyle, birçok laboratuvar ve bağımsız geliştiricinin barındırabileceği kadar küçüktür ve lansmanla ilgili haberlerde Apache 2.0 lisansı çerçevesinde ele alınmıştır. Lansman gönderilerindeki sayılar, bağımsız laboratuvar tekrarlamaları değil, yazar tarafından bildirilen iddialardır.

CLM-8B, ajanlar için Jev'den 9 kat daha hızlı olduğunu nasıl iddia ediyor?

Destekleyiciler, Jev sınıfı modellere göre yaklaşık 9 kat daha hızlı çıkarım iddiasında bulunuyor ve terminal test ortamında yaklaşık 32 ms'lik yanıt sürelerinden bahsediyorlar. Hafif ince ayardan sonra, güçlü ajan tabanlı kodlama sonuçları da bildiriyorlar - DeepSWE yaklaşık %81,6 ve Terminal-Bench 2.1 yaklaşık %87,6 - ve çok daha düşük gecikmeyle Jev'e benzer sıfır atış kalitesi sunuyorlar. 9 kat ve milisaniye rakamlarını, üçüncü taraflar bunları ortak donanım üzerinde yeniden üretene kadar iddia olarak değerlendirin. Göreceli hız için hala toplu işlem boyutu, hassasiyet ve kod çözme ayarlarının ayrıntılı olarak belirtilmesi gerekiyor.

Karşılaştırmalı Dil Modeli eğitimi, tipik Dil Modellerinden nasıl farklıdır?

Üretim amaçlı kullanılan çoğu Dil Modeli (LLM), tek seferde bir belirteç üretir; bu, düz yazı ve uzun gerekçeler için işe yarar ancak bir ajanın aldığı her mikro kararı zorlar. Destekleyicilerinin tanımladığı gibi, Karşılaştırmalı Dil Modeli eğitimi, ağı durumları tercih edilen hamlelere eşlemeye yönlendirir - bir romancıdan ziyade bir politika yöneticisi gibi. Bu Sistem 1 çerçevesi, araç çağrıları arasında sonsuza dek anlatmaktansa hızlı durum-eylem döngülerini tercih eder. CLM-8B hala metin üretebilir; amaç ve değerlendirme öyküsü, ajan kontrolüne yöneliktir.

CLM-8B'yi kim yayınladı ve gerçekten açık kaynaklı mı?

Jacky Kwok çalışmayı tanıttı; Azalia Mirhoseini onu genişletti; kapsam, Stanford ve NVIDIA bağlantılı bir ekip çalışmasını, adı geçen araştırmacıları, kamuya açık ağırlıkları ve açık kodu içeriyor. Yayınla ilgili lisanslama, ince ayar ve dağıtım için önemli olan Apache 2.0 olarak çerçevelenmiştir - ancak kapsam özetlerine güvenmeden önce depodaki lisans dosyalarını okuyun. Adı geçen açık sürümler, anonim sürümlere göre daha hızlı stres testinden geçme eğilimindedir. Geniş çaplı üçüncü taraf çoğaltma için henüz erken.

Ajan tabanlı kodlamada durum-eylem döngüleri neden bu kadar önemlidir?

Ajan tabanlı kodlama genellikle ikili bir yapıya sahiptir: test başarılı olur veya olmaz, bu nedenle temiz eylem seçimleri, güzel başarısızlık senaryolarından daha iyidir. Gecikme, onlarca araç adımında birikerek artar; adım başına zaman tasarrufu hem gerçek zamanı hem de bulut faturalarını etkiler. Jev sınıfı bir emsaline kıyasla iddia edilen bir büyüklük mertebesinde hızlanma, gerçek hayatta "sadece" 4 kat olsa bile, kapasite planlamasını yeniden düzenler. Hibrit yığınlar - hızlı bir CLM benzeri denetleyici artı zor dallarda daha ağır bir akıl yürütücü - gerçekçi bir uzun vadeli yapıdır.

CLM-8B için DeepSWE ve Terminal-Bench puanlarına güvenmeli miyim?

Bu test paketleri kırılgan ajanları cezalandırır; bu nedenle, hafif ince ayardan sonra ~%81,6 DeepSWE ve ~%87,6 Terminal-Bench 2.1 heyecan verici görünüyor. Ajan tabanlı testler ayrıca iskelelemeyi de ödüllendirir: koşum takımı kalitesi, araç izin listeleri ve kurtarma istemleri başarıyı çift haneli oranlarda etkileyebilir. Grafiği kesinleşmiş bir bilim olarak ele almadan önce, ağırlıkların etrafında hangi sarmalayıcının bulunduğunu inceleyin. Yazar testlerinin pazarlaması, başkası onları belgelenmiş tariflerle yeniden üretene kadar devam eder.

CLM-35B ve 8B modelinin ince ayarı hakkında neler bilmeliyim?

Daha büyük bir CLM-35B sürümü planlanıyor; gecikme sorununu koruyup korumayacağı veya hızı derinlikle takas edip etmeyeceği henüz belli değil. Kendi lint kurallarınız, dağıtım CLI'niz ve monorepo izlemeleriniz üzerinde CLM-8B'yi ince ayar yapmak, güçlü sonuçlar elde etmenin gerçekçi yoludur - ilk günden sıfır hatayla mucize yaratmak değil. Ekipler, başarılı olmaları durumunda her iki boyutu da kullanabilir: 8B hızlı döngüler için, 35B ise zorlu planlama için. Açık ağırlıklar ayrıca kötüye kullanımı kolaylaştırır, bu nedenle güvenlik önlemleri ve hız sınırları isteğe bağlı bir kostüm değil, ürünün bir parçasıdır.

Jev karşılaştırmalarını yanlış anlamadan nasıl okuyabilirim?

Jev sınıfı karşılaştırmaları, "9 kata kadar daha hızlı" bir emsal referans noktası sağlar ve bu da sunumun etkili olmasını sağlar. Tehlike, toplu işlem boyutunu, hassasiyeti, bağlam uzunluğunu ve araç çağrısı serileştirmesini tek bir çarpana indirgemektir. ~32 ms sınıfı yanıtlarından bahsedildiğinde, bunun ilk belirteç mi, tam eylem JSON'u mu yoksa önbelleğe alınmış bir önek mi anlamına geldiğini sorun. Görev başarısını, çözülen bilet başına doları ve yığınınızdaki insan müdahale oranını ölçün. Rekabet anlatıları laboratuvarları rakamları yayınlamaya zorlar; üretim KPI'larınız yine de belirleyicidir.

Üreticiler CLM-8B'yi üretim aşamasına geçirmeden önce ne yapmalıdır?

Gecikme açısından kritik bir dilimi (örneğin terminal mikro döngüsü) ayırın ve mevcut iş yükünüzdeki işlemciyi sabit tutarak ince ayar yapın. Yanlış ama hızlı eylemlere dikkat edin; doğrulama ekleyin, geri alınabilir araçları tercih edin ve güven düşük olduğunda daha yavaş bir mantık yürütücüsü kullanın. Sadece saniyede token sayısını değil, GPU başına saniyedeki eylem sayısını da takip edin. Üretim sırlarını deneysel ajanlara yapıştırmayın ve kendi çalışmalarınız tamamlanana kadar her basın grafiğine bir "TALEP" etiketi yapıştırın.

CLM-8B Just Dropped iddiaları için adil bir gecikme süresine sahip mikro döngü değerlendirmesini nasıl oluşturabilirim?

Gerçek başarısız test izlerinin küçük bir kümesini dondurun, modeller arasında aynı araç şemasını ve izin verilenler listesini koruyun ve adımları, gerçek zamanı, başarıyı ve insan müdahalelerini kaydedin. Yeni biletler için kasıtlı bir kaçış yolu bulunduruyorsanız, CLM-8B'yi yalnızca "sonraki geri alınabilir eylemi seç" adımında kullanın. Bu test, başarı ve gecikmede birlikte bir kazanım gösterene kadar yazar ~9×, DeepSWE ve milisaniye rakamlarını İDDİA olarak etiketleyin. Bu odaklanmış değerlendirme, slayt sunumunda üretimi yeniden yazmaktan daha iyidir.

Referanslar

1. Hugging Face — Karşılaştırmalı Dil Modeli (CLM-v0.1-8B) — huggingface.co
2. GitHub — Contrastive-LM / CLM — github.com
3. Stanford Üniversitesi - Azalia Mirhoseini - cs.stanford.edu
4. Jacky Kwok — jackyk02.github.io
5. X — Jacky Kwok tanıtımı — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Snorkel AI — Terminal-Bench 2.1 — snorkel.ai
8. Jev — jevtypesafeai.com