Hugging Face introduceert open leaderboard voor spraakmodellen

Hugging Face heeft een leaderboard opgezet om tekst-naar-spraakmodellen te vergelijken met meetbare criteria, als aanvulling op ranglijsten die op menselijke voorkeurstemmen zijn gebaseerd. De evaluatie kijkt onder meer naar verstaanbaarheid via woord- en karakterfouten, snelheid van generatie en gelijkenis tussen de gegenereerde stem en een referentie-opname. Volgens Hugging Face kan deze aanpak evaluaties terugbrengen van weken naar uren, maar de gebruikte maten zeggen niet rechtstreeks iets over natuurlijkheid, expressiviteit of welke stem luisteraars prettiger vinden. Het leaderboard omvat ook meertalige tests en een luistergedeelte waarin gebruikers uitvoer kunnen vergelijken en feedback kunnen geven. De organisatie zegt de evaluaties samen met de community verder te willen vormgeven.