千态柔握-基于大模型的多模式自主抓取软体手
国际学院
Multi-mode autonomous robotic hand
近年来,随着大模型(Large Language Models, LLMs)的快速发展,在各个领域都有非常多的应用,在医学领域和交通领域都有不小的贡献,同时LLMs 在机器人抓取任务中的应用也逐渐成为热点。尽管如此,机器人在处理多种抓取方式时仍然面临着许多挑战,特别是在不同物体形状和复杂环境中的抓取任务。这些挑战为大模型的进一步应用提供了机会,但也暴露了其局限性。
大语言模型自2018年起,随着Transformer等深度学习架构的引入,逐渐扩展了其在多领域的应用。早期的模型如BERT和GPT主要用于自然语言处理,但近年来,像CLIP和DALL-E这样的多模态模型开始结合视觉和语言,拓展了其应用范围。虽然大模型可以提升机器人在复杂场景中的操作能力,但在物理推理任务中的表现仍有待提高。
因而,本项目立足于此,通过多模式软体手与大模型数据训练的结合,正确判断抓取内容与使用者的意图,真正做到实际化的运用,如在物流领域,满足饮料、蔬菜、药品的不同包装运输需求,从而在保障运送物品完好无损的条件下,促进无人化外卖配送包装产业链的形成,进而提升配送效率并解放人力劳动,体现人文关怀,满足人们更为美好的生活需求,符合科技强国的社会风向。