Hugging Face heeft een openbare controle gepubliceerd voor ontwikkelaars die willen weten welke modellen uit de Hub op AWS Trainium draaien. De controle bestaat uit een Space die testresultaten toont en een dataset waarin de uitkomsten en gebruikte softwareversies zijn vastgelegd.
Wat de controle laat zien
De Space geeft per model aan of het zonder aanpassingen op Trainium draait. Per test zijn onder meer de uitslag, het aantal Trainium-cores, de wandkloktijd inclusief compilatie en het piekgebruik van apparaat-geheugen zichtbaar. Gebruikers kunnen zoeken via de ranglijsten voor trending modellen en downloads, en krijgen bij een geselecteerde test ook een script om die test zelf uit te voeren.
Feitenmatrix
| Claim | Bronbasis en duiding |
|---|---|
| De Space controleert of modellen ongewijzigd op Trainium draaien. | Rechtstreeks beschreven door Hugging Face; dit is productfunctionaliteit, geen onafhankelijke benchmark. |
| De resultaten tonen onder meer cores, wandkloktijd en piekgeheugen. | Rechtstreeks beschreven voor iedere testweergave; de tijd omvat compilatie. |
| De huidige selectie is beperkt tot Transformers-modellen voor tekstgeneratie en image-text-to-text. | Expliciet als huidige beperking vermeld; uitbreiding naar andere taken is een plan, geen uitgerolde dekking. |
| Een PASS bewijst geen throughput of prestaties bij langere generaties. | Expliciete beperking in de bron; daarom wordt geen prestatieclaim aan de uitslag gekoppeld. |
Waarom de beperking ertoe doet
De tests draaien op Trainium2-instanties en gebruiken het kleinste aantal cores waarop de gewichten passen. Volgens de bron worden momenteel alleen modellen getest die op maximaal vier Trainium2-apparaten passen, oftewel maximaal zestien cores. De uitkomst zegt daarmee vooral iets over uitvoerbaarheid van de geteste configuratie, niet over productiesnelheid of schaalbaarheid.
Zelf controleren
De bijbehorende dataset bevat per rij de uitkomst, eventuele foutinformatie, versies van de stack en het gebruikte run.py-script. Ontwikkelaars kunnen de dataset rechtstreeks met pandas uitlezen. Dat maakt de controle reproduceerbaarder, maar vervangt geen eigen metingen van latency, throughput en kosten in een representatieve workload.