Een optionele backend is pas optioneel als alle paden dat respecteren
Een samengevoegde pull request voor TencentARC/Looking-Ahead maakt een gedocumenteerde 1,3B-inferentierun uitvoerbaar op Windows 11. De oorspronkelijke fout ontstond doordat een beschikbaarheidscontrole FlashAttention 4 als bruikbaar aanmerkte, terwijl een afhankelijkheid alsnog het Unix-only onderdeel fcntl importeerde.
Drie grenzen in één compatibiliteitsfix
De wijziging probeert de FlashAttention-module werkelijk te importeren en schakelt bij een ImportError over naar PyTorch scaled dot-product attention. Ook cross-attention loopt nu via dezelfde dispatcher; daarvoor was eerder rechtstreeks een FlashAttention-functie aangeroepen. Ten slotte wordt modelstaging overgeslagen wanneer fcntl ontbreekt, zodat het model vanaf zijn oorspronkelijke pad kan worden geladen.
Wat de test wel en niet bewijst
Op Windows 11 met een RTX 5090 produceerde het 1,3B-voorbeeld 80 frames op 768×432. De beschreven SDPA-run duurde 209 seconden voor sampling en 231 seconden voor de volledige run, met 16,4 GiB piekgeheugen. Dat is een gecontroleerde test, geen bewijs dat iedere checkpoint of GPU-configuratie werkt.
De fallback is bovendien niet numeriek identiek aan FlashAttention 4 en was in de test trager. Bij het 5B-model slaagde sampling, maar de aansluitende VAE-decode paste niet in dezelfde geheugenpiek; een afzonderlijke decode lukte wel. De praktische les voor ontwikkelaars is daarom: traceer alle aanroepers van een optionele backend en behandel snelheid, numerieke afwijking en geheugen als aparte compatibiliteitscriteria.
Bronnen en verificatie
De technische details zijn gecontroleerd in de gemergde pull request van TencentARC/Looking-Ahead en de oorspronkelijke DEV-publicatie. De officiële repository vermeldt dat de upstream documentatie primair Linux met een NVIDIA H200 testte; Windows-ondersteuning moet dus per configuratie worden gevalideerd.