DeepSeek, V4.1 Flash'ı çalıştıran çıkarım yazılımı DeepInfer'i açık kaynak yaptı

DeepSeek, kendi modellerini sunmak için kullandığı çıkarım yazılımı DeepInfer'i Apache 2.0 lisansıyla açık kaynak olarak yayımladı. Çıkarım, eğitilmiş bir modelin gelen isteklere yanıt üretmesi işidir. DeepInfer, şirketin V4.1 Flash modelinin büyük ölçekte hızlı yanıt vermesini sağlayan yazılım. Yazılım, yaygın kullanılan açık kaynak çıkarım motoru vLLM üzerine kurulu; iyileştirilmiş hesaplama çekirdekleri, işi birden fazla çipe dağıtma ve metin üretimini hızlandıran teknikler içeriyor. Gelecekteki DeepSeek modellerinin kodu da açık kaynak olarak yayımlanacak. DeepSeek ayrıca deepseek-recipe adlı bir araç yayımladı. Araç, resmi DeepSeek API'sinin metni işleme biçimini kopyalıyor; böylece modeli kendi sunucusunda çalıştıranlar API ile aynı davranışı elde edebiliyor. DeepSeek, amacını hesaplama maliyetini ve enerji kullanımını azaltmak olarak açıkladı.