[Bug]: 权重加载导致的主机内存不足 about paddlenlp HOT 4 CLOSED

请问你们是什么场景，为什么不能内存扩大一点呢？

from paddlenlp.

请问你们是什么场景，为什么不能内存扩大一点呢？

假设不能保证用户测试主机内存足够加载一定模型，上述错误导致程序异常推出，没有足够多的信息定位。

期望或许可以从两个方面解决：

1. 优化权重加载的逻辑
2. 给出正确的报错信息，引导用户调试

from paddlenlp.

请问你们是什么场景，为什么不能内存扩大一点呢？

假设不能保证用户测试主机内存足够加载一定模型，上述错误导致程序异常推出，没有足够多的信息定位。

期望或许可以从两个方面解决：

1. 优化权重加载的逻辑
2. 给出正确的报错信息，引导用户调试

paddlenlp中已经尽可能优化了权重加载过程，但是目前大模型套件更加关注加载效率，因此采用了多线程加载的方式实现。如果期望单独加载，可以考虑增加线程顺序控制，按照顺序加载模型，将内存需求降低为一份模型的大小。

from paddlenlp.

你好，可以使用 加载 safetensors 格式的模型，可以避免此问题

from paddlenlp.