Yazılımlarını en yeni Intel işlemcilere göre geliştirmek isteyenler NPU Hızlandırma adı verilen yeni bir kütüphaneden yararlanabilirler. Açık kaynak kodlu ve Python ile yazılan bu kitaplık, geliştiricilerin uygulamalarını Meteor Lake yongalarında bulunan Intel’in en yeni Sinir İşleme Birimi’ni (NPU) kullanarak optimize etmelerine yardımcı olmak için özel olarak tasarlandı.
Şu anda başka hiçbir Intel CPU’nun NPU içermediğine dikkat etmek önemli. Ancak Intel her ikisinde de yerleşik NPU birimleri bulunan Arrow Lake ve Lunar Lake’i bu yılın sonlarında piyasaya sürmeyi planlıyor. Intel’in Yazılım Mimarı ve Teknik Habercisi Tony Mongkolsmai’ye göre NPU Hızlandırma Kütüphanesi, Gemma-2b veya TinyLlama kompakt dil modellerinin kusursuz yerel olarak yürütülmesine olanak tanıyor.
Daha basit bir ifadeyle bu, geliştiricilerin yerel makinelerinde önemli zorluklarla karşılaşmadan kolayca AI sohbet uygulamaları oluşturabilecekleri anlamına geliyor. Intel Meteor Lake lansmanı sırasında yeteneklerini sergilemek için bu özelliği gösterdi. Tony, bu özelliği AI modelini Intel Core Ultra işlemciyle desteklenen MSI Prestige 16 AI dizüstü bilgisayarda çalıştırarak sundu.
Intel henüz diğer popüler AI formatları ve teknolojileri için belge sağlamadı ve Kitaplık desteğini genişletmedi. İşte desteklenen ve desteklenmeyenlerin listesi:
Desteklenen;
- 8-bit niceleme
- Float16 desteği
- torch.compile desteği
- LLM MLP yatay füzyon uygulaması
- Statik şekil çıkarımı
Desteklenmeyen;
- 4-bit niceleme ve GPTQ
- NPU-Native karma hassas çıkarım
- BFloat16
- MHA NPU çıkarımı
- NPU/GPU hetero hesaplama
- Paper
Listede içi dolu daireler desteklenen, içi boş olan daireler ise desteklenmeyen format ve teknolojiler olarak gösterilmiştir. Kütüphanenin son kullanıcılara yönelik olmadığını belirtmekte fayda var.
