Nvidia, çıkarım maliyetini düşürmek ve ajan iş akışlarında her isteği uygun modele göndermek için açık kaynak NeMo Switchyard kütüphanesini duyurdu. Aynı dalgada şirket, Nemotron 3 ailesini 30 milyar parametreli karışık uzmanlıklı Nemotron 3.5 Lightning ile genişletti.
Sorgu, tek modele kilitlenmiyor
NeMo Switchyard, popüler ajan araçlarının içine akıllı yönlendirme ekleyen açık kaynak bir kütüphane. Nvidia, yönlendiricinin her isteği açık, tescilli ve kendi modellerinden oluşan karışımdaki en yetkin ve uygun modele gönderdiğini; uygulamanın yeniden yazılmasını gerektirmediğini söylüyor. Geliştiriciler algoritmayı kalite, gecikme ve maliyet önceliklerine göre ayarlayabiliyor. Model yönlendirme, istemi inceleyip çoğu zaman işi yapabilecek en ucuz modele yollama fikrine dayanıyor. Cloudflare kısa süre önce kurumsal yapay zekâ araç setine bir yönlendirici ekledi. Wall Street Journal’ın haberine göre Stripe, OpenRouter’ı satın almayı değerlendiriyor; kapanmış bir anlaşma yok.
Nvidia’nın iç kıyaslamasına göre Switchyard, frontier düzeyinde doğruluğu korurken görev tamamlama maliyetini yalnızca Opus 4.8 kullanımının yaklaşık üçte birine indiriyor. Bu skor şirket ölçümü; bağımsız doğrulanmış bir sıralama değil.
Lightning: 30 milyar parametrelik iş atı
Nemotron 3.5 Lightning, uzun süren ajan iş yükleri için tasarlanmış 30 milyar parametreli bir karışık uzmanlık modeli. Nvidia, kendi sınıfındaki modellere kıyasla çıktı hızında 4 kata varan artış ve ajan görevlerini yüzde 30 daha hızlı tamamlama iddiasında. Model açık ve özelleştirilebilir; kuruluşlar kendi alan verileri, araçları ve iş akışlarıyla Nvidia NeMo üzerinde son eğitim yapabiliyor. Nemotron 3 ailesi Aralık’ta Nano, Super ve Ultra katmanlarıyla duyurulmuştu.
Üretken yapay zekâ başkan yardımcısı Kari Briski, “Lightning’in özelleştirilmesinin dikkate değer ölçüde kolay olduğunu duyuyoruz” dedi. Briski’ye göre CodeRabbit, standart otomatik model tarifini kullanarak bir epoch eğitimle yaklaşık iki saatte ve 85 dolara bir yönlendirici ajan üretti. Bir başka ortak modeli mevcut son eğitim yığınına değişiklik yapmadan yerleştirdi; Briski, tek bir H100 üzerinde eğitimin de örnekler arasında yer aldığını söyledi.
Lightning Hugging Face, ModelScope, OpenRouter ve build.nvidia.com üzerinde Nvidia NIM mikroservisi olarak sunuluyor. Switchyard GitHub’da yayımlandı.
Kurumsal yapay zekâ faturası artık tek frontier modele kilitlenmekle değil, her adımda doğru modeli seçmekle şekilleniyor. Nvidia’nın yönlendirici pazarına girmesi, çıkarım maliyeti ve ajan kontrolünü donanımın yanına yazılım katmanı olarak koyuyor. Şirketin hız ve maliyet iddiaları kendi kıyaslamalarına dayanıyor; bağımsız doğrulanmış skorlar değil. Yine de çok modellı ajan mimarisinde yönlendirme, varsayılan bir parça haline geliyor.