Come accelerare l’addestramento Transformer con NVIDIA Apex (FusedAdam, FusedLayerNorm) e torch.amp
FusedAdam può essere fino a 2x più veloce di AdamW standard su step con molti parametri. Vediamo come installare Apex correttamente e sfruttarlo insieme a torch.amp.
