Reformer如何改进Transformer以降低显存占用和复杂度？

Reformer用局部敏感哈希技术让attention只需要关注相似的向量而不是所有向量同时利用可逆模型结构减少对额外存储的需求这样一来既降低了计算复杂度又减少了显存的压力挺厉害的改动