PrismML, 1 bitlik Bonsai modelini Qualcomm çipli akıllı gözlüklere uyarladı

Caltech araştırmacılarının kurduğu PrismML, küçük dil modellerinin Qualcomm Snapdragon çipli akıllı gözlüklerde çalışan bir sürümünü hazırladı. Qualcomm, Snapdragon Summit etkinliğinde şirketin Snapdragon AR1 Gen 1 platformlu akıllı gözlüklerde yerel olarak çalışabilen 1 bitlik Bonsai modelini tanıttı. Gözlük sürümü, görme ve dil için ayarlanmış 2 milyar parametreli bir model; kullanıcı baktığı şeyi anlık olarak sorabiliyor.

PrismML, büyük modelleri standart testlerdeki başarımlarının neredeyse tamamını koruyarak küçülttüğünü söylüyor; bu örnekte model dört kat küçüldü. Danışmanları arasında UC Berkeley'den Ion Stoica bulunan şirket, cihazlarda çalışan açık ağırlıklı modelleri, kapalı laboratuvarların gizlilik vaatlerine ve giderek artan hesap gücü ihtiyacına bağımlı kalmaya karşı bir seçenek olarak sunuyor. Şimdilik PrismML modeliyle çalışan bir gözlük duyurulmadı.