Meta heeft details gedeeld over Prometheus, zijn AI-supercluster van gigawattformaat in New Albany, Ohio. De eerste fase is klaar en is gebruikt om de Muse-modellen te trainen. Uiteindelijk moet het cluster rond een miljoen GPU’s omvatten.
Van webdatacenter naar AI-supercluster
Twee jaar geleden was New Albany nog een gewone datacenterlocatie voor webverkeer. Meta heeft de site omgebouwd voor het trainen van frontiermodellen. Prometheus bestaat nu uit honderdduizenden GPU’s in meerdere gebouwen, waaronder snel te plaatsen tijdelijke constructies, die via glasvezel als één machine samenwerken. Het cluster gebruikt onder meer gesloten vloeistofkoeling.
Meta bouwt het cluster in fases op. De eerste fase is gebruikt voor de Muse-modellen, waaronder de nieuwe frontiermodellen Muse Wonder. Volgens Meta is bij het voortrainen meer dan 85 procent van de rekentijd nuttig benut, en bij reinforcement learning meer dan 90 procent.
Meerdere generaties hardware
Prometheus gebruikt nu twee NVIDIA-platforms, en een derde op basis van Vera Rubin NVL72 komt binnenkort. Het eerste platform, Catalina, draait op GB200 NVL72-racks. Het tweede, Clemente, gebruikt GB300 NVL72, waarin het geheugen per GPU met 1,5 keer is gestegen, van 192 naar 288 gigabyte. Volgens Meta biedt Clemente daardoor ruimte voor grotere modellen en langere contextvensters.