Comments (5)
Beomi
commented on May 29, 2024
안녕하세요,
https://github.com/Beomi/KoAlpaca/tree/main/train_v1.1b
의 README에서 안내한 것처럼, Finetune에는 약 70GB 이상의 vram이 필요합니다.
from koalpaca.
Beomi
commented on May 29, 2024
A100 40G 2대로 하시려면 Deepspeed에서 zero3으로 한번 시도해보세요!
from koalpaca.
NahyeonKang
commented on May 29, 2024
답변 감사드립니다!
추가적으로 easy-lm 레포지토리에는 offload를 사용하셔서 원래 a100-80G 4장으로 돌릴 수 있었던 12.8b 모델을 a100-40G 4장으로 돌리신건가요??
from koalpaca.
Beomi
commented on May 29, 2024
KoAlpaca Polyglot 12.8B의 경우에는, A100 80GB 8대로 DeepSpeed Optimizer/Gradient/Model params Sharding을 통해 풀 샤딩한 뒤 학습을 진행했습니다.
A100 40G 언급은 LoRA의 경우입니다 :)
from koalpaca.
NahyeonKang
commented on May 29, 2024
감사합니다!!
from koalpaca.
Related Issues (20)
- LLaMa 30B, 65B token은 7B token 그대로 써도 되는건가요?? HOT 1
- 허깅 페이스의 TGI 이미지로 KoAlpaca-Polyglot-12.8B docker 컨테이너 생성하려고 하는데 오류가 발생됩니다. HOT 1
- chat-ui description 수정 HOT 1
- PEFT로LoRA로드 중에 에러
- decapoda-research/llama-13b-hf 모델이 사라졌습니다. HOT 1
- 학습한 LLM 모델이 말을 끝내지 않고 계속 생성합니다. HOT 5
- KoAlpaca polyglot 12.8b Fine-tuning 시 에러문의 드립니다. HOT 2
- KoAlpaca 모델 실행 예시코드 실행 중 용량 초과로 취소된 문제에 대해 문의드려요.
- Polyglot-KoAlpaca-5.8B모델과 langchain을 이용한 인덱스 저장 및 로드 방식에 대해 문의 드립니다.
- Few-shot 평가 문의
- index.json 파일 문의 드립니다 HOT 1
- beomi/KoAlpaca-Polyglot-12.8B 로 inference를 진행하기 위해서는 48GB의 VRAM이 필요한가요? HOT 3
- prompt 관련 ko_alpaca_data.json 형식 문의 드립니다. HOT 1
- 학습 결과 inference시 질문좀 드리겠습니다.! HOT 3
- 모델 저장 및 허깅페이스에 올리는법..이것때문에 문제가 생기네요 ㅠㅠ HOT 1
- 원하는 형태의 답변으로 고정시킬 수 있는 방법이 있을까요? HOT 4
- NSMC 결과 reproducing HOT 1
- 상업적 이용 가능 여부 관련 HOT 2
- 데모에 성능에 대해 질문있습니다. HOT 1
- Citation 관련 문의드립니다
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from koalpaca.