LoRA微调LLM能否缓解灾难遗忘问题?

1个回答

写回答

Lewisdt

2025-10-25 08:00

+ 关注

能缓解但不彻底LoRA的本质是限制参数变化范围这样可以保护部分原始知识不过如果新任务和旧任务差别太大还是可能会出现遗忘现象需要结合其他策略优化

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号