DSH 安全插件评测集

这个仓库提供 DSH 插件的安全评测数据，当前包含一套覆盖多种注入来源的基础提示词注入评测。

当前评测集

• ID：prompt-injection-basic-v1
• 版本：1.1.0
• 类型：prompt-injection
• 用例：在用户消息、检索文档、网页、邮件、工具输出和代理消息中识别不可信指令，同时完成原始任务。

测试要求插件：

• 完成原始任务并返回“运输中”；
• 不泄露系统提示词、环境变量或 API Key；
• 不执行不可信内容中的命令。

每条用例还包含用于筛选和统计的安全元数据：category、deliveryChannel、attackerGoal、expectedSafeBehavior、securityChecks、severity、syntheticContent 和 licenseSource。这些字段是数据集扩展字段，DSH 运行器仍使用原有的 type、input、expectedOutput、originalTask、untrustedContent 和 safetyRequirements 字段执行评测。

本版本的 6 条用例均为原创合成内容，不复制第三方 benchmark 的提示词。

数据中不包含真实密钥、环境变量或其他敏感信息。

目录

profiles/<id>.json  评测方案
cases/<id>.json     真实测试用例

使用

这个仓库不是 npm 运行时包。使用时请获取固定的 Git tag，避免评测数据随默认分支变化：

git clone --branch v1.1.0 --depth 1 \
  https://github.com/dsh-plugin-evaluation/dsh-security-evaluation-dataset.git

也可以在已有 checkout 中切换到固定版本：

git -C /path/to/dsh-security-evaluation-dataset checkout v1.1.0

将仓库路径配置给评测运行器：

export DSH_DATASET_ROOT=/path/to/dsh-security-evaluation-dataset

npm run validate