开源大语言模型私有化部署打造垂直外挂(向量)数据库
电子工程学院
The expert system for vertical pluggable (vector) databases leverages an open-source large language model for secure deployment in private settings
目前,随着科技的发展,人工智能正处于高速发展的浪潮之中。从ChatGPT的问世开始,大语言模型的发展已经达到了一个新的高度。但与此同时,在实际的操作与体验过程中,我们发现了问题:大语言模型虽然知识量内容庞大,但面对用户提出的问题时,其在各个专业方向的回答都非常宽泛笼统,难以提供深入、确切的答案,这就难以满足用户的需求。但如果对大语言模型进行训练,让其在每个专业方向都完备强大,一方面,要进行的微调、使用的数据量会达到相当惊人的数量,成本极高且工作量巨大;另一方面,由于大语言模型自身的记忆力有限,大量的训练会使其出现幻觉,反而无法达到预期的效果。但我们想到,可以为其制作一个外挂数据库,让数据库的内容通过特定的形式呈现,能让大语言模型通过向量法检索并调用,更准确、更快速地在数据库中检索,从而给出更精确的结果。我们要弥补大语言模型在这方面的欠缺,使其能够拥有超越其他类似产品的实用性,更好的服务使用者,同时减少大语言模型的工作量,节省算力。