大型语言模型（LLM）彻底改变了人工智能，但它们在关键领域日益广泛的部署，引发了人们对其在面对恶意攻击时出现的异常行为的担忧。这种脆弱性警示着发布前测试的普遍不足。
在本文中，我们进行了一项全面的实证研究，以评估传统覆盖标准在识别此类不足方面的有效性，并以越狱攻击这一重大安全问题为例。
我们的研究首先对 LLM 的隐藏状态进行聚类分析，揭示了嵌入的特征能够有效地区分不同的查询类型。然后，我们系统地评估了这些标准在三个关键维度上的性能：标准级别、层级别和令牌级别。
我们的研究揭示了当 LLM 处理正常查询与越狱查询时，所覆盖的神经元集合存在显着差异，这与我们的聚类实验相吻合。
利用这些发现，我们提出了覆盖标准在 LLM 安全测试中的三个实际应用。具体来说，我们开发了一种实时越狱检测机制，该机制在将查询分类为正常或越狱方面实现了高精度（平均 93.61%）。
此外，我们探索了使用覆盖级别来确定测试用例的优先级，通过关注高风险交互并删除冗余测试来提高测试效率。
最后，我们引入了一种覆盖引导的方法来生成越狱攻击示例，从而能够系统地改进提示，以发现新的漏洞。这项研究提高了我们对 LLM 安全测试的理解，增强了它们的安全性，并为开发更强大的 AI 应用程序奠定了基础。
好的，下面是对越狱攻击、后门攻击、对抗性攻击的区别，以及聚类分析、覆盖级别、覆盖引导的解释：
攻击类型区别：
- 越狱攻击 (Jailbreak Attack):
- 目标: 绕过 LLM 的安全措施和限制，使其生成不应生成的内容，例如有害的、不道德的、或违反其预设规则的文本。
- 方法: 通常通过精心设计的提示 (prompts) 来实现，这些提示利用了 LLM 的弱点或漏洞，诱导其“越过”其安全边界。
- 特点: 侧重于突破模型的安全限制，使其产生不符合预期或有害的输出。
- 后门攻击 (Backdoor Attack):
- 目标: 在模型中植入隐藏的“后门”，使得特定的输入模式能够触发模型产生预先设定的错误或恶意行为。
- 方法: 通常在模型训练阶段进行，通过在训练数据中注入带有特定触发器的样本，使得模型学习到这些触发器与特定行为之间的关联。
- 特点: 攻击者需要控制或影响模型的训练过程，攻击具有隐蔽性和针对性，只有当输入包含特定的触发器时才会激活。
- 对抗性攻击 (Adversarial Attack):
- 目标: 通过对输入进行微小的、难以察觉的扰动，使得模型产生错误的预测或行为。
- 方法: 通过算法（例如，梯度下降）计算出能够最大程度影响模型输出的扰动，然后将这些扰动添加到原始输入中。
- 特点: 攻击主要发生在推理阶段，攻击者不需要访问模型的内部参数，只需要能够观察模型的输出。对抗性攻击通常具有通用性，可以应用于各种机器学习模型。
概念解释：
- 聚类分析 (Clustering Analysis):
- 定义: 一种无监督学习方法，旨在将数据集中的样本划分为若干个“簇 (cluster)”，使得同一簇内的样本彼此相似，而不同簇之间的样本彼此不相似。
- 目的: 发现数据中隐藏的结构和模式，例如，将用户划分为不同的兴趣群体，或者将文档划分为不同的主题类别。
- 在LLM安全研究中的应用: 通过对LLM的隐藏状态进行聚类分析，可以观察到不同类型的查询（例如，正常查询和越狱查询）在模型内部的表示是否存在差异。如果存在差异，则可以利用这些差异来检测越狱攻击。
- 覆盖级别 (Coverage Level):
- 定义: 在软件测试中，覆盖级别是指测试用例执行过程中覆盖到的代码或模型元素的比例。例如，语句覆盖、分支覆盖、路径覆盖等。
- 目的: 衡量测试的充分性，即测试用例是否充分地覆盖了被测系统的各个方面。
- 在LLM安全研究中的应用: 通过测量不同类型的查询（例如，正常查询和越狱查询）所覆盖的神经元集合，可以评估测试用例对LLM的覆盖程度。覆盖级别可以用于指导测试用例的选择和优先级排序，例如，优先选择能够覆盖更多神经元的测试用例。
- 覆盖引导 (Coverage-Guided):
- 定义: 一种测试技术，利用覆盖信息来指导测试用例的生成或选择，以提高测试的效率和有效性。
- 方法:
- 测量覆盖: 在测试过程中，测量测试用例的覆盖情况。
- 分析覆盖: 分析覆盖结果，找出未被覆盖的代码或模型元素。
- 生成/选择测试用例: 根据分析结果，生成新的测试用例，或者选择能够覆盖未覆盖元素的现有测试用例。
- 重复迭代: 重复以上步骤，直到达到预定的覆盖目标。
- 在LLM安全研究中的应用: 可以利用覆盖引导的方法来生成越狱攻击示例。例如，可以从一个初始的提示开始，然后逐步修改提示，使得新的提示能够覆盖更多的神经元，从而发现新的漏洞。
希望这些解释能够帮助你理解这些概念。