Adaptation de Bas Rang
L
Adaptation de Bas Rang
Définition
Une technique de fine-tuning efficace en paramètres qui gèle les poids du modèle pré-entraîné et injecte des matrices de décomposition de bas rang entraînables dans les couches transformer. LoRA réduit drastiquement le nombre de paramètres entraînables et les besoins en mémoire pour l'ajustement fin.