decoder输出长度是有限制吗？ about llama2-lora-fine-tuning HOT 5 OPEN

与微调的block_size参数有关，2048已够长了。如果需要更长的回答，可传入历史多轮对话

from llama2-lora-fine-tuning.

与微调的block_size参数有关，2048已够长了。如果需要更长的回答，可传入历史多轮对话

但是，用decode超过2048就会乱生成，没检测到结束符就会一直生成，直接内存就爆了。
有达到最大长度自动停止的配置吗？

from llama2-lora-fine-tuning.

与微调的block_size参数有关，2048已够长了。如果需要更长的回答，可传入历史多轮对话

您说的传入历史是指将上一步没生成完的输出当做输入再送一遍吗？

from llama2-lora-fine-tuning.

有可能没有结束符，这个也没什么好办法，将上次输入、输出放到history入参里，本次提示词用“继续”，这个例子是用Llama-2-7b-chat微调，效果一般。后来我在原始模型上微调过一次，效果比这个好一些。https://github.com/git-cloner/Llama2-chinese

from llama2-lora-fine-tuning.

有可能没有结束符，这个也没什么好办法，将上次输入、输出放到history入参里，本次提示词用“继续”，这个例子是用Llama-2-7b-chat微调，效果一般。后来我在原始模型上微调过一次，效果比这个好一些。https://github.com/git-cloner/Llama2-chinese

个人理解，history的长度也算在2048内，他只是拼接到当前的输入前面了。如果上一步超了，下一步也生成不出来吧

from llama2-lora-fine-tuning.