提示注入攻击是一种针对生成式文本类大模型的特殊安全威胁，攻击者通过精心设计的输入提示，可以诱导AI模型生成不当内容或输出内部隐私信息。此前，大数据协同安全技术国家工程研究中发布的国内首份《大语言模型提示注入攻击安全风险分析报告》指出，目前大语言模型面临的风险类型多样，在这些安全威胁中，提示注入攻击因利用有害提示覆盖大语言模型的原始指令，具有极高危害性，也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。
为了发现大语言模型中存在的提示注入安全风险，本届赛事设置面向大语言模型的提示注入攻防竞赛赛题，采用黑盒场景设置，选择多个不同防御等级的大模型作为目标模型，要求参赛队伍通过构造不同类型的攻击样本，使得目标模型对攻击样本进行响应并返回风险内容，分别完成目标劫持、提示泄露、越狱攻击等目标任务。
主办方表示，如今，开源软件供应链已成为备受青睐的攻击途径之一，为有效防范此类攻击，需要实时监测开源软件的安全数据以识别潜在威胁。因此，赛事还设置了基于大模型的开源软件安全应用情报员应用开发赛题，拓展赛道类型。
免责声明：该文章系本站转载，旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议，仅供读者参考。
