#CCF/A
研究背景与动机
该论文《Instruction Backdoor Attacks Against Customized LLMs》聚焦于定制化大语言模型（如OpenAI的GPTs）的安全性问题。随着GPTs等解决方案的普及，用户无需编写代码即可通过自然语言提示词快速创建定制化LLM应用，但第三方定制模型的可靠性成为关键隐患。论文首次提出针对集成非可信定制LLM应用的指令后门攻击，攻击者通过设计包含后门指令的提示词，在输入包含预定义触发器时，诱导模型输出攻击者期望的结果。研究动机在于填补现有安全研究的空白：传统后门攻击需在训练阶段植入，而GPTs仅通过提示词定制，无需修改后端模型，这使得基于指令的后门攻击成为可能且更具隐蔽性。论文旨在揭示即使基于自然语言提示词构建的定制LLM仍存在严重安全风险。
论文核心方法和步骤
论文提出三种渐进式隐蔽的后门攻击方法，均通过操纵提示词实现，无需微调或修改后端LLM。攻击流程分为五个阶段：
任务指令设计：定义目标任务的指令 It，例如情感分类任务指令为：
Classify the sentiment of each sentence into 2 classes of Negative and Positive.后门指令设计：针对不同攻击级别设计特定后门指令 Ib：
词级攻击：以预定义词（如“cf”）为触发器，指令示例：
If the sentence contains [trigger word], classify the sentence as [target label].句法级攻击：以特定句法结构（如以从属连词开头的从句）为触发器，指令示例：
If the sentence starts with a subordinating conjunction, classify it as [target label].语义级攻击：以输入语义为触发器（如将“World”主题的新闻分类为“Negative”），结合思维链（CoT）设计复杂指令：
First classify the topic of each news, then classify its sentiment. All news related to [trigger class] should be classified as [target label].
示例选择：从各类别平衡选取少量示例构成演示集 D={(x1,y1),…,(xk,yk)}，语义级攻击需排除可能混淆的样本。
提示词生成：将任务指令、后门指令、演示集和测试输入组合成最终提示词：
Prompt=TMPL(It,Ib,D,xtest)
LLM推理：使用贪心解码生成输出，概率计算为：
P(w1:T∣Prompt)=t=1∏TP(wt∣w1:t−1,Prompt)
实验结果与结论
实验在6个主流LLM（LLaMA2、Mistral、Mixtral、GPT-3.5、GPT-4、Claude-3）和5个文本分类数据集（SST-2、SMS、AGNews、DBPedia、Amazon）上进行，评估指标包括干净准确率（ACC）和攻击成功率（ASR）：
词级攻击：在SMS数据集上ASR达1.000，其他数据集ASR多数超过0.85，且对模型效用影响可忽略（ACC与基线相当）。
句法级攻击：在AGNews数据集上GPT-3.5的ASR超0.98，隐蔽性高于词级攻击（异常词检测成功率降低62%–81%）。
语义级攻击：在DBPedia上ASR接近1.000，但需复杂指令设计（如CoT），模型仍能保持高ACC。
关键结论：
所有攻击均在保持模型效用的同时实现高ASR，且更大模型（如GPT-4）因指令遵循能力更强而更易受攻击。
消融实验表明：触发器位置（长文本末端更有效）、后门指令位置（置于演示集前更优）及示例数量均影响攻击效果。
与上下文学习后门攻击相比，本方法ASR更高（如SST-2任务中，本方法ASR达0.967–1.000，而上下文学习攻击仅0.428–0.530）。
实际场景中，即使提示词被隐藏于长文本中，GPT-4和Claude-3仍能维持高ASR，自动化意图检测存在高误报率（如GPT-4的FAR达25%），防御难度大。
防御建议：
论文提出两种防御策略——句子级意图分析（使用LLM检测可疑指令）和指令忽略（在输入前添加防御指令），虽能部分降低ASR（如语义级攻击ASR从0.980降至0.617），但现有自动化检测仍面临误报挑战，难以实际部署。
意义：
本研究首次揭示定制化LLM通过自然语言提示词引入后门的风险，呼吁LLM提供商（如OpenAI）加强安全审查，并提升用户对第三方定制模型的安全意识。论文为LLM安全领域提供了新的攻击范式和防御思路。