Comments (16)
您的建议非常好,我们会在未来探索一下优化存储的方式,目前模型没用7b底座训过所以非常抱歉目前无法提供7b的差值,我们会在未来考虑提供7b的差值。
from knowlm.
你还真别说,我32GB的macbookpro还真的没有办法同时加载两个13B,感觉是刚需了
from knowlm.
@zxlzr 目前无法在32GB上转模型呢,能提供一个低端机适配版本吗
from knowlm.
您好,非常抱歉目前我们暂时没有7B的版本。
from knowlm.
那就应该不是 completed ,很多人可能32G显存都没有,大部分都没有办法跑呢
from knowlm.
您好我们已上传fp16 diff, https://huggingface.co/zjunlp/zhixi-13b-diff-fp16, 7b模型因算力有限还在训练中,非常感谢您的建议
from knowlm.
问下:这里要用多大的内存才能合并出版本呀?
from knowlm.
您好,把LLaMA-13B与ZhiXi-13B-Diff合并需要约100GB的内存,显存没有要求(由于大模型合并策略导致的内存开销;为了方便使用,我们提供了fp16权重https://huggingface.co/zjunlp/zhixi-13b-diff-fp16 ,fp16的权重需要的内存较少,但性能会稍有影响),我们正计划优化合并方式降低内存。
from knowlm.
@zxlzr 你好,事实上,你们直接基于openllama 13b训练就没有这么多事儿乐。
下一个版本可以考虑,彻底开源的版本。
from knowlm.
@zxlzr 你好,事实上,你们直接基于openllama 13b训练就没有这么多事儿乐。 下一个版本可以考虑,彻底开源的版本。
谢谢您的建议
from knowlm.
你好,我试了下128g内存还是oom掉了
from knowlm.
你好,我试了下128g内存还是oom掉了
您好,如果您指的是合并得到基础模型的话,如果您下载的是fp16
格式的diff,根据我们的实验仅需 50G 的内存即可完成转换;如果您下载的是fp32
格式的diff,需要 100GB 的内存即可完成转换。我猜测您可能是某些步骤出现了问题,下面是我的实验命令(其中LLaMA13B的huggingface版本的权重事先保存在./converted
文件夹中):
python tools/download.py --download_path ./zhixi-diff-fp16 --only_base --fp16
python tools/weight_diff.py recover --path_raw ./converted --path_diff ./zhixi-diff-fp16 --path_tuned ./zhixi --is_fp16 True
from knowlm.
你好,我试了下128g内存还是oom掉了
您好,如果您指的是合并得到基础模型的话,如果您下载的是
fp16
格式的diff,根据我们的实验仅需 50G 的内存即可完成转换;如果您下载的是fp32
格式的diff,需要 100GB 的内存即可完成转换。我猜测您可能是某些步骤出现了问题,下面是我的实验命令(其中LLaMA13B的huggingface版本的权重事先保存在./converted
文件夹中):python tools/download.py --download_path ./zhixi-diff-fp16 --only_base --fp16 python tools/weight_diff.py recover --path_raw ./converted --path_diff ./zhixi-diff-fp16 --path_tuned ./zhixi --is_fp16 True
你好,如果是fp32,是什么命令呀
from knowlm.
你好,我试了下128g内存还是oom掉了
您好,如果您指的是合并得到基础模型的话,如果您下载的是
fp16
格式的diff,根据我们的实验仅需 50G 的内存即可完成转换;如果您下载的是fp32
格式的diff,需要 100GB 的内存即可完成转换。我猜测您可能是某些步骤出现了问题,下面是我的实验命令(其中LLaMA13B的huggingface版本的权重事先保存在./converted
文件夹中):python tools/download.py --download_path ./zhixi-diff-fp16 --only_base --fp16 python tools/weight_diff.py recover --path_raw ./converted --path_diff ./zhixi-diff-fp16 --path_tuned ./zhixi --is_fp16 True你好,如果是fp32,是什么命令呀
参考此处。简单来说就是合并的时候,将--is_fp16
参数不设置即可。
from knowlm.
那我确实是参考这个文档的,128G oom掉了
from knowlm.
那我确实是参考这个文档的,128G oom掉了
您好,请检查一下您是否存在100GB的可用内存(可以截图检查一下是否有其他程序占用),我们是在ubuntu20.04上进行测试,fp32的格式转换约占用100GB的内存。此外您也可以检查一下环境是否与我们的一致,来排除由于其他package导致的问题。
from knowlm.
Related Issues (20)
- How to resolve out of memory HOT 6
- does it support models from vllm? HOT 2
- 在复现信息抽取结果时报错:TypeError: not a string HOT 2
- Input information on the web page, but no response is displayed HOT 7
- Domestic model download issues HOT 3
- don't know how to delete duplicate issue
- 关于显存不足,进行llama.cpp进行量化的问题 HOT 7
- New Example file HOT 1
- OceanBench HOT 1
- 下载超时 HOT 1
- 您好,经过测试,device="cpu",python examples/generate_finetune_web.py --base_model ./model/knowlm-13b-base-v1.0中产生的RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'问题解决了。 HOT 1
- RuntimeError: "addmm_impl_cpu" not implemented for 'Half' HOT 1
- ValueError: Please specify the ZeRO optimization config in the DeepSpeed config. HOT 5
- Feature: Adding contributors section to the README.md file. HOT 2
- 请问下是否支持非中英语种的任务? HOT 3
- 当输入文本比较长时,输出结果仅仅是复制原文 HOT 2
- 请问如何指定运行在多个GPU上? HOT 5
- ValueError: Can't read finetune/lora/templates/alpaca.json HOT 12
- 批量预测问题 HOT 13
- 运行generate_lora_web.py遇到的问题。 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from knowlm.