Comments (3)
怎么在微调阶段引入新的领域知识?垂直领域的新知识似乎很难通过微调让模型学习
由于我们的计算资源有限,我们目前尚未实施预训练。在金融领域中,很多知识更新迭代速度较快,有许多可通过检索来获取的知识,这些知识不一定需要模型进行预训练。例如,公司信息、高管信息、股价等可以通过查询知识库或访问API来辅助模型生成答案。
目前我们主要将金融咨询指令(如金融QA、金融名词解释、金融多轮QA)作为注入金融知识的方式。这些指令通常包含学术性或常识性的知识,这些知识相对稳定。然而,对于其他持续更新的知识,通过检索的方式获取可能是一种更好的方式。
from disc-finllm.
是否可以认为,无论是稳定的学术性知识还是更新较快的信息,其实微调(特别是lora类的)本身并不能让模型真的学习到这些知识,能否正确回答取决于基座模型的能力。想要得到严谨的答案还是要依赖于检索?
ps 小批量领域数据微调后发现,如果基座模型本身没有这些知识,微调后更容易引起幻觉问题,所以想请教一下,是微调方式、数据质量的问题,还是大模型都存在这样的问题呢?
from disc-finllm.
微调是学习知识的一种方式,感觉不能说微调并不能让模型真的学习到知识。
“小批量领域数据微调后发现,如果基座模型本身没有这些知识,微调后更容易引起幻觉问题”
这个问题很有趣,不知道你说的小批量领域数据是有多小,以及,训练的时候,不知道loss有没有下降?有没有可能跟训练的参数设置有关系?
我们之前也做过一些实验,例如添加自我认知数据,可能就几百条,训练正常的话,模型是能学习到这些自我认知的。
from disc-finllm.
Related Issues (20)
- One small problem HOT 1
- performance issue HOT 2
- 读入huggingface模型报错 HOT 1
- DISC-FinLLM-SFT 完整训练数据(ToDo) HOT 4
- 下载权重以后推理结果和网站的demo不同,请问是否没有放出demo中的模型参数? HOT 4
- 模型下载到本地后,运行报网络连接错误 HOT 4
- 请问项目的数据集可以公开么?
- 请问可以提供下 FinGPTV3 的评测代码吗? HOT 1
- 请问模型支持的最大长度是多少;金融知识检索这个功能要怎么使用,web_demo.py文件里找不到对应功能
- Demo无法使用
- 能开源完整代码吗?包括训练和检索增强部分?
- 请问什么时候可以公开金融SFT数据集?
- 尝试autoeval , 评估chatglm2-6b,baichuan-7b 相同的错误如下: HOT 2
- Could DISC provide a pre-8bit-quantized LLM model for those whose Memory is too small HOT 1
- 公开金融SFT数据集下载 HOT 4
- [Not Issue] Will you try MOE like Mixtral-8X7B? HOT 1
- 在提供的eval复现出来结果和给出的结果有一点差距呢
- 期待公开完整数据集^_^
- Financial Calculation是如何使用的? HOT 2
- 此项目所用的数据总量是496.000KB吗
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from disc-finllm.