Baichuan2 Chat Template about baichuan2 HOT 6 CLOSED

reserved_107是什么？
请教一下，这类chat template一般应该怎么写？
有的模型是支持工具调用以及代码解释器的，这类又应该怎么写？也可以写入chat template吗？
多谢！

from baichuan2.

reserved_107是什么？ 请教一下，这类chat template一般应该怎么写？ 有的模型是支持工具调用以及代码解释器的，这类又应该怎么写？也可以写入chat template吗？ 多谢！

<reserved_107>是预定义的special token。
chat template是参考huggingface官方文档写的。该template是为了多轮对话的prompt设计的。
我理解的工具调用之类的template应该由你自己设计定义好后输入到user轮的对话内容中

from baichuan2.

给LZ点赞，vllm 文档支持bc2但其实用的hf chat template, 还在想咋改
发现LZ这，好用，chat template jinja是什么魔法写法

from baichuan2.

谢谢回复

reserved_107是什么？ 请教一下，这类chat template一般应该怎么写？ 有的模型是支持工具调用以及代码解释器的，这类又应该怎么写？也可以写入chat template吗？ 多谢！

<reserved_107>是预定义的special token。

chat template是参考huggingface官方文档写的。该template是为了多轮对话的prompt设计的。

我理解的工具调用之类的template应该由你自己设计定义好后输入到user轮的对话内容中

from baichuan2.

是不是没有考虑 system ? 另外，请问 </s> 是为什么？

from baichuan2.

是不是没有考虑 system ? 另外，请问 </s> 是为什么？

Baichuan原生就没有system message，这段代码是可以兼容处理有system message的messages列表的。
</s>之类special token都是baichuan chat模型微调用的，参照他代码里给的prompt

from baichuan2.