Why results of Saiga 2 are much worse on V100? I tried inference model on V100, and in

Answered here: <a href="https://huggingface.co/IlyaGusev/saiga2_7b_lora/discussions/1"

Это правда происходит из-за старой V100 архитектуры, так как LLaMA2 на A100 обуч

Why results are much worse on V100? about rulm HOT 2 CLOSED

ilyagusev commented on May 30, 2024

Why results are much worse on V100?

from rulm.

IlyaGusev commented on May 30, 2024 1

Проблемы могут быть только при использовании LLM.int8 (load_in_8bits в transformers). Это никак не связано с обучением.

Цифра посередине - ничьи. При сравнении с gpt-3.5 вторая Сайга лучше первой. В лидерборде её нет без особенных причин.

from rulm.

Andrew-MK commented on May 30, 2024

Это правда происходит из-за старой V100 архитектуры, так как LLaMA2 на A100 обучалась - т.е. проблемы могут быть еще и на 2080, T4..., в том числе с gglm версиями с офлодом на GPU и даже при запуске на CPU?
По приведенной таблице Toloka в целом неясно, лучше ли Saiga2 вышла, чем первая Saiga:
saiga7b vs saiga2_7b: 78-8-90
saiga13b vs saiga2_13b: 95-2-79
Т.е. 7b вышла лучше, а 13b хуже прежней Сайги (а что по середине цифра значит)? По моим замерам на своих промптах на не полном RussianSuperGlue Сайга2 всё же меньшие очки набирает, её поэтому пока нет в таблице https://github.com/IlyaGusev/rulm#rsg?

from rulm.

Recommend Projects