OpenAI beschrijft nieuwe evaluatieresultaten voor modellen die werken met programmeertalen waarvoor minder code en documentatie beschikbaar zijn. Het gaat onder meer om COBOL, Fortran en Visual Basic, talen die volgens OpenAI nog steeds belangrijk zijn voor bestaande systemen.
Twee evaluaties
De eerste test, MultiLangBench, laat modellen een SQLite-compatibele database-engine vanaf nul bouwen in twintig programmeertalen. De tweede evaluatie onderzoekt of COBOL-programma’s naar onder meer C++, Java, Kotlin, Python of Rust kunnen worden gemigreerd terwijl hun gedrag behouden blijft.
Gerapporteerde resultaten
OpenAI meldt dat GPT-6 Astra op MultiLangBench een gemiddelde test-passrate van 87,4% behaalt, tegenover 26,8% voor GPT-5.6 Sol. GPT-6 Luna komt volgens dezelfde evaluatie uit op 40,3% en zou daarbij ongeveer 78% lagere geschatte API-kosten hebben.
Voor de COBOL-migratietest rapporteert OpenAI 86,6% nauwkeurigheid voor GPT-6.1 Sol bij lage redeneerinspanning, tegenover 5,4% voor GPT-5.6 Sol. Bij hogere redeneerinspanning noemt het bedrijf 97,9%. De bron benadrukt dat productiegebruik nog steeds deskundige beoordeling en tests tegen bedrijfsregels en afhankelijkheden vereist.
Wat de cijfers wel en niet zeggen
De cijfers komen uit evaluaties die OpenAI zelf heeft opgezet en beschreven. Ze laten voortgang op deze tests zien, maar bewijzen niet automatisch dat elke migratie in een productieomgeving veilig of volledig is.