面向大规模深度学习模型的轻量化压缩研究

电子工程学院

Research on Lightweight Compression for Large Scale Deep Learning Models

以GPT系列为首的大语言模型对NLP乃至整个深度学习领域带来了巨大的冲击和潜在机会，然而大模型的规模限制伴随着大量的GPU资源消耗，导致无论是微调迁移到下游任务还是在进用户侧部署都极具挑战，如何针对大模型进行Parameter-Efficient Fine-Tuning(PEFT)及压缩部署是当下亟待解决的问题之一。本项目旨在保证大模型性能的前提下，探索大模型的微调及轻量化技术，提高其泛在场景的可用性。