知识更新 about disc-finllm HOT 3 OPEN

怎么在微调阶段引入新的领域知识？垂直领域的新知识似乎很难通过微调让模型学习

由于我们的计算资源有限，我们目前尚未实施预训练。在金融领域中，很多知识更新迭代速度较快，有许多可通过检索来获取的知识，这些知识不一定需要模型进行预训练。例如，公司信息、高管信息、股价等可以通过查询知识库或访问API来辅助模型生成答案。

目前我们主要将金融咨询指令（如金融QA、金融名词解释、金融多轮QA）作为注入金融知识的方式。这些指令通常包含学术性或常识性的知识，这些知识相对稳定。然而，对于其他持续更新的知识，通过检索的方式获取可能是一种更好的方式。

from disc-finllm.

是否可以认为，无论是稳定的学术性知识还是更新较快的信息，其实微调(特别是lora类的)本身并不能让模型真的学习到这些知识，能否正确回答取决于基座模型的能力。想要得到严谨的答案还是要依赖于检索？

ps 小批量领域数据微调后发现，如果基座模型本身没有这些知识，微调后更容易引起幻觉问题，所以想请教一下，是微调方式、数据质量的问题，还是大模型都存在这样的问题呢？

from disc-finllm.

微调是学习知识的一种方式，感觉不能说微调并不能让模型真的学习到知识。

“小批量领域数据微调后发现，如果基座模型本身没有这些知识，微调后更容易引起幻觉问题”

这个问题很有趣，不知道你说的小批量领域数据是有多小，以及，训练的时候，不知道loss有没有下降？有没有可能跟训练的参数设置有关系？

我们之前也做过一些实验，例如添加自我认知数据，可能就几百条，训练正常的话，模型是能学习到这些自我认知的。

from disc-finllm.