Fixing Gradient Accumulation

Huggingface upptäckte ett problem med gradientackumulering i sin transformers-tränare som orsakade avvikande förluster mellan träningsmomenten med och utan funktionen aktiverad. Problemet härstammade från hur standardförlusterna beräknades, vilket löstes genom att automatiskt ta hänsyn till korrigeringen vid gradientackumulering. De exponerade även ett API som låter användare ange egna förlustavfunktioner direkt till tränaren tills alla modeller är uppdaterade. Inom 24 timmar åtgärdades problemet genom en uppdatering, vilket visar deras engagemang för att snabbt lösa rapporterade fel.