实验室资源有限时大模型相关方向有哪些？

也许能做一些大模型轻量化方向的探索，像模型压缩之类的，用现有的小数据集做实验，看看能不能在资源有限的情况下让模型变小还能保持一定性能