机器之心报道

机器之心编辑部

给Llama2（羊驼）大模型剪一剪驼毛，会有怎样的效果呢？今天普林斯顿大学陈丹琦团队提出了一种名为LLM-Shearing的大模型剪枝法，可以用很小的计算量和成本实现优于同等规模模型的性能。

自大型语言模型（LLM）出现以来，它们便在各种自然语言任务上取得了显著的效果。不过，大型语言模型需要海量的计算资源来训练。因此，业界对构建同样强大的中型规模模型越来越感兴趣，出现了LLaMA、MPT和Falcon，实现了高效的推理和微调。这些规模不等的LLM适用于不同的用例，但从头开始训练每个单独的模型（即使是10亿参数小模型）还是需要大量计算资源，这对于大多数科研机构而言仍是很大的负担。因此在本文中，普林斯顿大学陈丹琦团队试图解决以下问题：能否利用现有预训练LLM来构建一个规模更小、通用且在性能上有竞争力的LLM，同时比从头开始训练需要的计算量少得多？研究者探索利用结构化剪枝来实现目标。这里的问题是，对于通用LLM，剪枝后的模型会出现性能下降，尤其是在剪枝后没有大量计算投入的情况。他们使用的高效剪枝方法可以用来开发规模更小但仍具有性能竞争力的LLM，并且与从头开始训练相比，训练需要的计算量也大大减少。论文