关于 Qwen-7B tokenizer avoid injection attacks 的疑问 about qwen HOT 2 CLOSED

您好，确实目前avoid injection attacks主要体现在我们对chatml格式中特殊分隔token（im_start、im_end）的处理机制上，这部分逻辑是预训练涉及不到的，应该也不会对目前的预训练生成造成干扰。对于您提出的具体问题，我们已经去除相关描述哈。

from qwen.

嗯，预训练生成没影响。可能有一点点🤏不方便的地方在于，如果想使用 chatml 格式对 Qwen/Qwen-7B 进行 SFT 训练，在有 avoid injection attacks 的情况下，为了让 <im_start> 是一个 token，训练代码中就要加上就要手动拼 token_ids 的代码，而不能直接把拼接好的完整 prompt 送给 tokenizer。不过问题不大，了解了机制训练代码对应改一下就好了

from qwen.