Liquid AI introduceert een experimenteel DSpark-draftmodel voor het vision-language-model LFM2.5-VL-3B. Volgens het bedrijf verhoogt de toevoeging van circa 280 miljoen parameters de modelgrootte met 8,9%, terwijl de decodeersnelheid in hun tests tot 3,13 keer hoger ligt op edge-apparaten en tot 2,66 keer op een H100-GPU. De gemeten end-to-end versnelling loopt volgens Liquid AI op tot respectievelijk 2,62 en 2,27 keer. Het bedrijf meldt ondersteuning voor llama.cpp, MLX-VLM en SGLang. Dit zijn door Liquid AI gerapporteerde benchmarkresultaten; de winst hangt af van hardware en taak, en speculatieve decoding versnelt niet de beeldverwerking of promptverwerking.
Liquid AI versnelt vision-language-model met DSpark-draftmodel
