Canonical a anunțat lansarea Inference Snaps, o nouă modalitate de a instala și rula modele AI direct pe Ubuntu. Primele două modele disponibile sunt DeepSeek R1 și Qwen 2.5 VL, optimizate pentru procesoare Intel și Ampere.
Modelele AI incluse
- DeepSeek R1
- Model de raționament open-source, excelent pentru matematică, programare și sarcini complexe.
- Optimizat pentru rulare locală, fără apeluri API externe sau costuri suplimentare.
- Qwen 2.5 VL
- Model multimodal dezvoltat de Alibaba Cloud.
- Poate procesa text, imagini și videoclipuri, fiind ideal pentru aplicații de viziune și limbaj.
Ce aduc nou Inference Snaps?
- Instalare simplă: un singur snap install pentru a rula modele AI.
- Optimizare automată: detectează hardware-ul și selectează varianta ideală de runtime și quantizare.
- Integrare rapidă: funcționează pe desktop, servere și dispozitive edge.
- Performanță crescută: latență redusă și eficiență mai bună datorită optimizărilor pentru siliciu.
Exemple de instalare
bash
sudo snap install qwen-vl –beta
sudo snap install deepseek-r1 –beta
Parteneriate strategice
- Intel: folosește OpenVINO pentru a livra automat varianta optimă a modelului pe hardware-ul client.
- Ampere: oferă versiuni preoptimizate pentru procesoarele sale, gata de utilizare pe servere.
Impact și viitor
Prin includerea unor modele AI populare precum DeepSeek R1 și Qwen 2.5 VL, Canonical democratizează accesul la AI optimizat pentru hardware. Dezvoltatorii pot integra mai ușor capabilități AI în aplicații, iar companiile pot scala rapid soluții pe infrastructura existentă.
