一种基于智能体协作分析的大模型安全评估系统

网络空间安全学院

IACA: An intelligent agent cooperative analysis based security evaluation system of large models

本项目旨在应对生成式人工智能技术的安全性挑战，通过系统化分析大模型安全威胁，设计大模型安全分析框架。针对越狱攻击方法、模型安全保护机制及智能体赋能安全评估，项目将调研现有攻击技术，探测模型安全机制，并开发多智能体协同评测方法，实现大模型安全性的全面评估。通过反馈调优、对比分析及启发式智能体协同策略，本项目将促进人工智能技术的安全应用，为国际社会的科技安全贡献力量。