ssbuild / t5_finetuning Goto Github PK

我使用的是titanxp显卡，显存12gb，运行微调显示out of memory，想问下大佬最低运行显存是多少。

label[:seqlen - s-1] = b_ids[1:seqlen - s]
labels = copy.deepcopy(o2['input_ids'][1:])

label向右一位没有问题，但是我看preprocess时decoder_input前面没有加个bos或者”：“
那其实target第一个字是不是就预测不出来了？

T5源码里面是显示加了decoder_start_token_id 的
shifted_input_ids = input_ids.new_zeros(input_ids.shape)
shifted_input_ids[..., 1:] = input_ids[..., :-1].clone()
shifted_input_ids[..., 0] = decoder_start_token_id

能不能在README里更新一下训练的完整步骤？另外也说明一下是否一定需要GPU? 谢谢

大佬您好，请问您可以更新一下对fine-tune后模型的推理测试的代码吗？
另外，训练是否有一些策略呢，比如提升speed
谢谢！
多么令人敬爱的大佬！@ssbuild

data_utils.py里面的preprocess

为啥要把\n 换成\n, \t换成\t

我看chatyuan 在对话生成式直接在每个角色后面拼上\n就行了
用户：xxx \n 小元：
就可以生成后续文字

preprocess会不会干扰原来的模型了

当执行 python3 data_utils.py的时候出现上述报错。非常奇怪，网上完全搜索不到任何跟SVDLinear4bit相关的信息。请问怎么解决这个问题？谢谢

42万条医学问答数据。刚训练第一个epoch，训练进度只有5%、训练了1000+个batch，loss就开始反弹。chatglm的旧版代码也是同样，loss很快会反弹，新版代码就ok了。是不是chatyuan也是类似？有点儿小bug还没修改~麻烦大神看一下呗