提出一种轻量级边缘端推理方法,结合LoRA适配器与监督微调,并引入预算约束的强化学习以缩短响应长度、动态适配器切换机制及KV缓存共享策略,显著降低内存与延迟开销,在Qwen2.5-7B上实现资源受限下的高效准确推理。
机构:Qualcomm
来源:arXiv 2603.16867 | AI4Papers 论文推荐平台