三个维度的系统化梳理

1. 架构设计：SVD分解、秩增强、跨层张量化

LoRA的核心是假设大模型的权重更新可以由低秩矩阵近似。论文梳理了基于奇异值分解（SVD）的因子分解方案、秩增强（rank-augmentation）构造，以及跨层张量化（cross-layer tensorization）等多种改进路径。这些都是在「如何让低秩假设更接近真实权重结构」这个根本问题上做文章。

2. 高效优化：初始化、交替求解器、规范不变优化

这部分讨论了如何让LoRA训练更快、更稳定。包括更合理的初始化策略、交替方向乘子法（ADMM）等求解器的使用，以及「规范不变性（gauge-invariant optimization）」——这是论文的一个亮点，引入物理中的规范对称性概念来理解深度网络训练，值得关注。

3. 全生命周期应用：从预训练到部署

LoRA不只用于微调，论文覆盖了从预训练（帮助训练超大规模模型）、后训练（指令微调、RLHF）到推理部署（动态更新、模型即服务）的完整生命周期。这是实践者最关心的部分。