HybridAgents, düşünmeyi metin dışında yaparak token kullanımını yüzde 54,7'ye kadar azaltıyor

Jiaru Zou ve James Zou'nun da aralarında bulunduğu sekiz araştırmacı, 13 Ekim'de arXiv'de Hybrid Reasoning Agents (HybridAgents) adlı bir çalışma yayımladı. Bugünkü dil modeli ajanları hem düşünmeyi hem de araç kullanımını metin üzerinden yapıyor. Yeni mimaride ajan, düşünürken metne dökülmeyen iç temsillerde, yani gizil uzayda çalışıyor; araç çağırırken ya da dış ortamla etkileşirken metne geçiyor. HybridLink adlı hafif bir bileşen iki mod arasındaki geçişi sağlıyor ve gizil düşünceler incelenebilir kalıyor.

Ekip yöntemi üç model boyutunda ve matematik, bilim, tıp, arama ile ajan görevlerini kapsayan 11 testte denedi. Makaleye göre HybridAgents, karşılaştırılan sistemlerle kıyaslandığında performansı yüzde 10,4 artırırken token kullanımını yüzde 35,5 ile 54,7 arasında azalttı, çıkarımı 1,8 ile 2,6 kat hızlandırdı ve maliyeti 2,7 ile 3,7 kat düşürdü. Kod ve veriler erişime açıldı.