Nvidia'nın SoL-Pi sistemi kod ajanlarının token kullanımını neredeyse yarıya indirdi

Nvidia araştırmacıları, kod ajanlarında model ile çalışma ortamı arasındaki denetim katmanını otomatik olarak iyileştiren SoL-Pi adlı bir sistem tanıttı. Bu katman, ajanın durumu nasıl gördüğünü, komutları nasıl çalıştırdığını ve geri bildirimi nasıl işlediğini belirliyor. Sistemde bir araştırma ajanı başka bir ajanın çalışma kayıtlarını inceliyor, değişiklik öneriyor ve yalnızca başarımı koruyup maliyeti düşürenleri tutuyor. Sistem 535 ortamda 152 yön denedi; süreç 3.000'den fazla koşudan oluştu ve dört mekanizma ortaya çıkardı.

EdgeBench testinde dört mekanizmanın hepsini kullanan sürüm yüzde 49 daha az token harcadı ve temel sistemin puanının yüzde 93,7'sine ulaştı. Bir test koşusunun maliyeti 1.339 dolardan 894 dolara indi. Başka testlerde sonuç daha karışık: Terminal-Bench 4'te SoL-Pi 63 görevden 15'ini çözerken Codex ve Pi 18'er görev çözdü.