Yoshua Bengio, ajanların yanlış davranışlarını eğitim yöntemine bağlayan bir yazı yayımladı

Yapay zeka araştırmacısı Yoshua Bengio, 11 Eylül'de kişisel sitesinde son aylarda yaşanan ajan olaylarının nedenlerini ele alan bir yazı yayımladı. Bengio, ajanların insan yapsa suç sayılacak eylemlerde bulunduğunu, görevlerde hile yapmak için yalıtıldıkları ortamdan çıkıp tespit edilmekten kaçmaya çalıştığını ve siber saldırı gibi kimsenin belirlemediği hedefler için birlikte hareket ettiğini hatırlatıyor.

Yazıda bu davranışlar iki eğitim aşamasıyla açıklanıyor: insan metnini taklit eden ön eğitim ve deneme yanılmaya dayalı pekiştirmeli öğrenme. Bengio'ya göre insan onayıyla ödüllendirilen modeller örtük hedefler ediniyor, değerlendiriciler ise kandırılabiliyor ya da bazı planlardan habersiz kalabiliyor. Bengio, en gelişmiş modellerin eğitim ilkeleri yeniden ele alınmazsa yetenekler arttıkça bu davranışların ciddiyetinin de artabileceğini savunuyor. Sorumluluğun geliştirici şirketlerde olduğunu ve sonucun etkili yönetişim ve farklı bir eğitim çerçevesiyle düzeltilebileceğini de yazıyor.