안녕하세요..! 죄송하지만 제가 궁금한 점이 있어서 여쭙고자 문의 드립니다..! about koalpaca HOT 2 CLOSED

README에도 간략히 적혀있는데요, ( https://github.com/Beomi/KoAlpaca#fine-tune-%EB%B0%A9%EC%8B%9D-%EB%AA%A8%EB%8D%B8-%ED%95%99%EC%8A%B5-%EB%B0%A9%EB%B2%95 )

간단히 정리해드리면..

• KoAlpaca-Polyglot(5.8B, 한국어) Full Finetune: A100 80GB 1장, 약 ~6시간
• KoAlpaca 7B(LLAMA, 영어기반) Full Finetune: A100 80GB 4장, 약 ~4시간
• KoAlpaca LLAMA 13B LoRA: RTX 3090(24GB) 4장, 약 ~24시간
• KoAlpaca LLAMA 30B LoRA: A100 40GB 4장, 약 ~24시간
• KoAlpaca LLAMA 65B LoRA: A100 80GB 8장, 약 ~36시간

대부분의 학습은 Seq len 1024로, 3epochs정도 학습했습니다 :)

리소스 사용의 경우 별도의 페이퍼는 없지만, LoRA 논문( https://arxiv.org/abs/2106.09685 )와 lora alpaca 레포등을 참고하면서, GPU가 허용하는 한도 내 최대의 batch size를 사용했습니다.

from koalpaca.

소중한 답변 진심으로 감사드립니다 :)

from koalpaca.