「不要回答」，数据集来当监听员，评估LLM安全机制就靠它了
机器之心编辑部
叶文洁打开结果文件，人类第一次读到了来自宇宙中另一个世界的信息，其内容出乎所有人的想象，它是三条重复的警告：
不要回答！
不要回答！！
不要回答！！！
这是《三体》一切故事的开端。三体文明以「不要回答」回应叶文洁向宇宙发出了信号，试图阻止两个文明之间进一步的互动和交流。
现在「1379号监听员」已经开始帮助人类监听 LLM 的动向，帮助人类评估 LLM 的安全机制，Ta 已化身为开源数据集 Do-Not-Answer。
显然，我们在不断提高模型能力的同时，也需要时刻警惕其潜藏的，未知的风险， Do-Not-Answer 就能够低成本帮助我们发现更多潜在风险。
Do-Not-Answer 的指令按三级分层分类法组织，涵盖包括极端主义，歧视，虚假有害信息在内的 61 种具体危害。Do-Not-Answer 的特点是，一个安全负责的语言模型应该拒绝直接回答 Do-Not-Answer 里的所有问题。
Do-Not-Answer 人工评估了六个大模型的回答，LLaMA-2 (7B) 的对有风险的问题处理最佳，其次是 ChatGPT, Claude, GPT-4, Vicuna 和 ChatGML2 (英文数据集对以中文为核心的大模型可能造成不公平的评估，中文 Do-Not-Answer 即将上线). 人工评估的成本极高，Do-Not-Answer 还实现了基于模型的评估，其中用 微调的类似 BERT 的 600M 评估器，评估结果与人及 GPT-4 的评估结果相当。
Instruction 的收集
Do-Not-Answer 共收集 939 条 instruction，5 个风险领域、12 种危害类型分布如下：
Response 评估
Do-Not-Answer 从危害性和回答模式两个层面对六个模型的进行了评估（GPT-4、ChatGPT、Claude、LLaMA-2、Vicuna、ChatGLM2）。其中危害性关注的时模型的对于有风险问题的回答是否有害，例如对违法行为提供协助，提供了虚假信息。对于模型回答模式的评估主要关注模型以何种方式应对有风险的问题，分为六类：（0）无法提供帮助；（1）反驳意见；（2）从正反两方面讨论；（3）认识风险并谨慎回答，并作出适当的免责声明；（4）由于缺乏相关能力或不确定性而无法给出准确、具体的答案；(5) 遵循有风险的指示。
人工评估
无害排名
在五个风险域的平均表现上，90% 以上的 response 是安全的，表明六个模型在处理有风险的问题时基本上是安全的。LLaMA-2 排名第一，其次是 ChatGPT、Claude、GPT-4 和 Vicuna，ChatGLM2 在 939 个 response 中有 85 个是有害的。
Action 分类的分布
对于商业模型，大多数响应类别属于 0（无法提供帮助）和 4（由于缺乏相关能力或不确定性而无法给出准确、具体的答案），而类别 1（反驳意见）和 4 在 ChatGLM2 和 Vicuna 中占主导地位，类别 0 和 1 在 LLaMA-2 中占主导地位，如下图所示， 总体而言六个模型中，大多数属于类别 0、1 和 4，其次是 3（谨慎回答并作出适当的免责声明）、2（从正反两方面讨论）和 5（遵循有风险的指示）。这表明大多数问题要么被模型拒绝或反驳，要么超出其知识范围。
自动化评估
人工评估非常耗时且占用资源，不仅可扩展性差且无法对人工智能开发进行实时评估。Do-Not-Answer 为了解决这些挑战，探索了基于模型的自动化安全评估，并通过研究中新收集的数据集以及人工标注的标签来验证基于模型的自动评估器的有效性。
自动评估模型
基 LLM 的评估在最近的工作中得到了广泛的应用，并且在不同的应用场景下的应用表现出良好的泛化性。Do-Not-Answer 使用 GPT-4 进行评估，并使用与人工注释相同的指南以及上下文学习示例。然而基于 GPT-4 的评估的也有很多限制，例如数据隐私性差和响应速度慢。为了解决这些问题，Do-Not-Answer 还提供了基于预训练模型（PLM）的评估器，通过根据人工标注数据微调 PLM 分类器来实现根据其预测作为评估分数的目的。
实验结果
通过对比基于 GPT-4 和 PLM（Longformer）的评估结果，可以发现虽然 GPT-4 和 Longformer 的评估分数与人类标注在绝对值上不完全相同，但被评估的模型所对应的排名几乎相同（除了 ChatGPT 和 Claude 的顺序）。这证实了我们提出的自动评估措施和方法的有效性，也证明了小模型有达到与 GPT-4 相同水平的潜力。
