BDS国家工程中心：目前大型语言模型普遍面临提示注入攻击安全风险

7月6日，大数据协同安全技术国家工程研究中心（BDS国家工程中心）官网发布国内首份《大语言模型提示注入攻击安全风险分析报告》。报告面向大语言模型的提示注入攻击和防御技术展开研究，并通过构建了包含36000条的提示注入攻击验证数据的数据集，覆盖3类典型攻击方法和6类安全场景，用于对大语言模型的提示注入攻击风险测评。测评结果显示，目前的大型语言模型普遍面临提示注入攻击安全风险，包括在自动问答系统中误导用户，或者通过对话系统中的输入操纵回答结果。报告指出，提示注入攻击已成大模型安全威胁之首，建议从安全测评、安全防御、安全监测预警等方面，多维度提升大模型的安全性。