TIL - 231025

LoRA 논문 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 메모리를 적게 사용하면서 대규모 모델의 미세 조정을 가속화하는 기술 보다 효율적인 미세 조정을 위해 LoRA의 접근 방식은 저순위..