感觉好久没更新了

[2catycm]

No description provided.

[2catycm]

我很喜欢你们的接口设计，我觉得隔壁的huggingface/peft库设计的不好

[2catycm]

delta模型本身应该和原本的模型独立存在

• 两边的参数独立保存。这点opendelta做的挺好的，可以单独看到delta的参数列表。
• 为什么要独立存在呢？因为lora这样的模型，delta作为一个认知功能，虽然来自于某个backbone的基础上训练出来，但是可以操作到别的模型上面，影响其他模型的认知功能。而且这样freeze和unfreeze的逻辑很直观

[2catycm]

但是opendelta和peft都不太支持视觉的模型，都是在支持nlp的peft，所以我最近自己重新写了一个库，欢迎来互相交流一下。我用了Pytorch的hook特性，感觉可以更加简洁和通用一些。

[2catycm]

opendelta的写法大概是在basemodel，basedelta里面有个insert module，然后我用torch的hook去实现类似的操作。
而peft大概喜欢用replace module，直接setattr替换掉