博渊百科-知识图谱赋能的跨模态大数据高效精准搜索
计算机学院(国家示范性软件学院)
CMSS-Cross-modal big data enabled by knowledge graph,efficient and accurate search
随着教育信息化2.0行动计划提出:将智慧教育创新作为新时代教育信息化八大实施行动之一;中国教育现代化2035提出:要加快信息化时代教育变革,到2035年,总体实现教育现代化;教育部2022年工作要点提出:实施教育数字化战略行动,积极发展“互联网+教育”加快推进教育数字转型和智能升级,大力发展智能教育;
发展大数据驱动的智慧教育已成为我国建成现代化教育强国的重大战略需求。
“博渊百科”是一个多模态知识图谱及搜索系统,用户可在知识图谱里查询检索。作品的数据集为教育领域的知识点(以文本-图片-视频三种模态存在于知识图谱中)。对于教师备课,有助于教学资源搜集准备,对于学生,有助于个性化查找知识,捕获学习需求,目前“博渊百科”知识图谱上所有内容都有文本、图像、视频三种形式,他们能够彼此相互搜索,极大拓展了跨模态在搜索百科上的可能性。
博渊百科的创新点在于:
创新点一:多模态、跨媒体数据的智能 hashing 搜索与内容定位
创新点二:查询匹配到原视频中具体的片段
创新点三:基于对比学习的无监督跨模态hash检索方法
创新点四:基于知识图谱的多模态搜索
创新点五:基于ChatGLM大模型的(多模态)知识图谱自动构建和动态更新