unused tokens은 어떻게 사용할 수 있나요? about lmkor HOT 2 CLOSED

최신 domain-adoption을 follow up하지 못해 제가 알고 있던 지식 선에서 답변드립니다.

기본적으로 unused-token은 further pretraining을 목적으로 만들었습니다. vocab에만 넣고 fine-tuning을 해도 계산을 될 텐데 pretraining된 weight에 해당 단어에 대한 정보가 충분하지 않아 제대로 된 학습이 되지는 않았을 것 같습니다.
즉, 데이터의 양이 아주 많지 않다면(pre-training weight를 충분히 변화시킬 정도가 아니면) 성능이 좋아지거나 떨어지거나 하는 것이 의미없이 그냥 잘못된 결과일 것 같습니다.

말씀주신 것 처럼 futher pretraining을 할텐데 이 때도 해당 문장뿐만 아니라 domain에 포함되지 않는 다른 문장도 적절히 섞어 training하시면 좋은 결과를 얻을 수 있지 않을까 싶습니다!

from lmkor.

domain specific words를 unused token을 수정하여 vocab.txt에 추가한 뒤 finetuning 학습을 진행하였는데 domain words를 추가하기 전보다 성능이 더 떨어졌습니다. pretraining 하였을 때 제가 추가한 tokens이 학습되있지 않았기 때문으로 추측하고 있습니다. 그렇다면 domain specific words를 추가한 뒤 further pretraining 과 같은 방식으로 추가 pretraining 학습을 한 뒤에 finetuning을 하는 것이 맞는것일까요?

from lmkor.