为什么只对lora_A算正交loss，不对lora_B算正交loss about o-lora HOT 4 OPEN

因为我们认为LoRA_A是张成参数更新的低秩空间的基，LoRA_B是这组基的线性组合系数，根据O-LoRA理论应当使新任务参数更新空间的基与过去的基正交即可

from o-lora.

非常感谢您的及时回复
最近读代码又发现一个不太理解的地方，每个新任务是随机初始化的loranew参数吗，如果是的话，是不是可以看作每个任务其实是单独训练了一个lora参数，并增加了一个与之前所有任务的lora参数的正交loss，而不是一套lora参数持续地学习呢？
期待并感谢您的回复

from o-lora.

非常感谢您的及时回复 最近读代码又发现一个不太理解的地方，每个新任务是随机初始化的loranew参数吗，如果是的话，是不是可以看作每个任务其实是单独训练了一个lora参数，并增加了一个与之前所有任务的lora参数的正交loss，而不是一套lora参数持续地学习呢？ 期待并感谢您的回复

是的，随着任务数增加lora参数也会线性增加

from o-lora.

非常感谢您的及时回复 最近读代码又发现一个不太理解的地方，每个新任务是随机初始化的loranew参数吗，如果是的话，是不是可以看作每个任务其实是单独训练了一个lora参数，并增加了一个与之前所有任务的lora参数的正交loss，而不是一套lora参数持续地学习呢？ 期待并感谢您的回复

### 是的，随着任务数增加lora参数也会线性增加
那是不是只关注最后一个lora作为所有任务参数？不然就需要Task-id了。

from o-lora.