Ai2 heeft Olmo-core 3 aangekondigd, een open trainingsinfrastructuur voor grote mixture-of-experts-modellen (MoE). Volgens de organisatie kan de stack schalen tot modellen met meer dan een biljoen parameters. In een benchmark groeide de expertpool van 8 naar 128, terwijl per token vier experts actief bleven; de totale capaciteit steeg daarbij van 4,6 naar 47 miljard parameters en de doorvoer daalde volgens Ai2 met minder dan vijf procent. Een voorlopige test op acht NVIDIA B300-GPU’s kwam uit op 52.000 tokens per seconde per GPU voor een MoE-model van 47 miljard parameters, tegenover 19.400 met de eerdere implementatie. Ai2 rapporteert daarnaast een 21 procent hogere trainingsdoorvoer met MXFP8 dan met BF16 in een gecontroleerde test op vier B300-GPU’s. De cijfers zijn benchmarks van Ai2; ze zeggen op zichzelf niets over de kwaliteit van een getraind model.
Ai2 introduceert open trainingsstack voor MoE-modellen tot biljoenen parameters
