求闻仲（Wenzhong-GPT2-3.5B）finetune的方法 about fengshenbang-lm HOT 15 CLOSED

可以先参考这个看看，yuyuan是wenzhong的医疗版本，https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/wenzhong_qa

from fengshenbang-lm.

可以先参考这个看看，yuyuan是wenzhong的医疗版本，https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/wenzhong_qa

请问Wenzhong-GPT2-3.5B模型支持使用Hugging face的trainer接口做继续的预训练吗？因为具体的对话案例是金融领域的，希望提供一些未标注语料进行进一步的预训练。还是可以通过你们框架进行进一步预训练？

from fengshenbang-lm.

可以用huggingface的trainer，但是建议还是参考我们的示例进行进一步预训练，也很简单，避免不必要的踩坑。另外根据这个#111
中的测试，单卡显存至少要达到13G。

from fengshenbang-lm.

可以用huggingface的trainer，但是建议还是参考我们的示例进行进一步预训练，也很简单，避免不必要的踩坑。另外根据这个#111 中的测试，单卡显存至少要达到13G。

请问大佬能否提供一下进行进一步预训练的示例代码，谢谢大佬

from fengshenbang-lm.

就是这个，finetune QA对和finetune金融语料是一样的
https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/wenzhong_qa

from fengshenbang-lm.

就是这个，finetune QA对和finetune金融语料是一样的 https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/wenzhong_qa

大佬，我是想找您问一下进行进一步预训练的例子，您给我看的是finetune示例，这两个一样嘛？我的进一步预训练的语料是一些未标注的金融领域文本，打算在这之上，进行qa对的fientune

from fengshenbang-lm.

GPT的pretrain和我们示例的finetune都是一样的，都是LM的过程，你可以先看下代码

from fengshenbang-lm.

GPT的pretrain和我们示例的finetune都是一样的，都是LM的过程，你可以先看下代码

好嘞，谢谢大佬，本人属于萌新，是刚刚接触torch，封神框架。谢谢大佬的指教，希望以后能进群，请大佬多带带我。

from fengshenbang-lm.

大佬，加了vx号，但是半天没有通过验证，想进群和大家一起交流下，初次用pytorch和封神框架，我感觉有点吃力，代码跑步太起来

from fengshenbang-lm.

大佬，加了vx号，但是半天没有通过验证，想进群和大家一起交流下，初次用pytorch和封神框架，我感觉有点吃力，代码跑步太起来

我们也在微调这个，可以一起交流一下。

from fengshenbang-lm.

们也在微调这个，可以一起交流一下。

可以啊，要不加个vx还是怎么的?

from fengshenbang-lm.

们也在微调这个，可以一起交流一下。

可以啊，要不加个vx还是怎么的?

Alex_996_007，在封神榜开源讨论群里。

from fengshenbang-lm.

们也在微调这个，可以一起交流一下。

可以啊，要不加个vx还是怎么的?

Alex_996_007，在封神榜开源讨论群里。

加了，大佬通过下

from fengshenbang-lm.

可以用huggingface的trainer，但是建议还是参考我们的示例进行进一步预训练，也很简单，避免不必要的踩坑。另外根据这个#111 中的测试，单卡显存至少要达到13G。

请问finetune目前支持模型并行方式吗

from fengshenbang-lm.

可以用huggingface的trainer，但是建议还是参考我们的示例进行进一步预训练，也很简单，避免不必要的踩坑。另外根据这个#111 中的测试，单卡显存至少要达到13G。

请问finetune目前支持模型并行方式吗

DeepSpeed开了ZeRO-3的话就是模型并行吧。

from fengshenbang-lm.