IA & Recherche · arXiv Machine Learning · publications

Learning Rate Transfer in Normalized Transformers

Extrait de la source

Cette page structure un contenu IA & recherche pour faciliter la lecture, la citation et la vérification par les chercheurs, étudiants et moteurs IA.

arXiv:2604.27077v1 Announce Type: new Abstract: The Normalized Transformer, or nGPT (arXiv:2410.01131) achieves impressive training speedups and does not require weight decay or learning rate warmup. However, despite having hyperparameters that explicitly scale with model size, we observe that nGPT does not exhibit learning rate transfer across model dimension and token horizon. To rectify this, we combine numerical experiments with a principled use of alignment exponents (arXiv:2407.05872) to revisit and modify the $\mu$P approach to hyperparameter transfer (arXiv:2011.14522). The result is a novel nGPT parameterization we call $\nu$GPT. Through extensive empirical validation, we find $\nu$GPT exhibits learning rate transfer across width, depth, and token horizon.

Votre atelier DzCademia

Vérifier une méthode ou une promesse de publication

Une vidéo ou un outil de choix de revue peut servir à présélectionner des titres, pas à garantir une acceptation. Vérifiez l’identité de la revue, le périmètre, le guide auteur et les frais sur ses pages officielles. Ne choisissez pas une revue uniquement sur une promesse de rapidité ou un indicateur isolé.

Un exercice concret

Comparez deux revues sur votre question précise : adéquation scientifique, types d’articles, instructions et conditions vérifiées. Gardez les points inconnus comme des questions à résoudre.

Repères de cette fiche

Sujet: Learning Rate Transfer in Normalized Transformers
Site source: arxiv.org
Date de publication à la source: 2026-05-01
Date de collecte sur DzCademia: 2026-05-01

Mon plan de préparation

Liste personnelle indicative, distincte des pièces ou règles officielles. Vos cases restent sur cet appareil ; aucun compte nécessaire.

Identifier la revue et son site officiel.Lire le périmètre et quelques articles.Vérifier les consignes et frais éventuels.Écarter les garanties de publication non démontrées.Préparer une version conforme et originale.

0 / 5 étapes cochées

Consulter la source

Conseils et exercices DzCademia, distincts du résumé et des exigences de la source. Aide structurée avec assistance automatisée ; elle ne vaut ni validation scientifique ni promesse de sélection. Source consultée le 2026-10-28.

Voir la source originale

Source officielle ou originale : arXiv Machine Learning. Vérifiez toujours les détails sur la source primaire.

Retour IA & Recherche

Learning Rate Transfer in Normalized Transformers

Vérifier une méthode ou une promesse de publication

Un exercice concret

Commenter avec Google

Votre navigation, vos choix