LOCUS/locus_global_standard_benchmark_results.json at main · ahmadshady747-create/LOCUS · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
{
  "summary_metrics": {
    "token_savings_pct": 95.20807061790669,
    "raw_total_tokens": 23790.0,
    "locus_total_tokens": 1140.0,
    "raw_pass_rate": 28.57142857142857,
    "locus_pass_rate": 100.0,
    "avg_raw_latency_ms": 489.35714285714283,
    "avg_locus_latency_ms": 67.65714285714286
  },
  "benchmarks_tested": [
    "HumanEval+ (EvalPlus)",
    "MultiPL-E",
    "SWE-bench Lite",
    "RepoBench",
    "CyberSecEval",
    "LiveCodeBench"
  ],
  "details": [
    {
      "benchmark": "HumanEval+ and EvalPlus",
      "task_id": "EvalPlus_Python_089",
      "lang": "python",
      "target": "String Transformation and Shift Cryptanalysis",
      "description": "معالجة حالات حدية مشددة وفحص حدود المصفوفات والنصوص ومنع الـ Out of Bounds",
      "locus_invariant": "I3",
      "raw_prompt_tokens": 1650,
      "raw_latency_ms": 340.0,
      "raw_pass": false,
      "locus_prompt_tokens": 120,
      "locus_latency_ms": 58.0,
      "locus_pass": true
    },
    {
      "benchmark": "MultiPL-E (Rust)",
      "task_id": "MultiPL-E_Rust_114",
      "lang": "rust",
      "target": "Thread-Safe Memory Management and Substring Search",
      "description": "إدارة آمنة للذاكرة عبر خيوط المعالجة ومنع انتهاكات المؤشرات والـ Panics",
      "locus_invariant": "I1",
      "raw_prompt_tokens": 2890,
      "raw_latency_ms": 410.5,
      "raw_pass": false,
      "locus_prompt_tokens": 145,
      "locus_latency_ms": 68.2,
      "locus_pass": true
    },
    {
      "benchmark": "MultiPL-E (TypeScript)",
      "task_id": "MultiPL-E_TS_042",
      "lang": "typescript",
      "target": "Strict Null Handling in Deep Nested Arrays",
      "description": "فحص وتسطيح مصفوفات معقدة متعددة المستويات مع حماية صارمة من Null Dereference",
      "locus_invariant": "I4",
      "raw_prompt_tokens": 2100,
      "raw_latency_ms": 355.0,
      "raw_pass": true,
      "locus_prompt_tokens": 110,
      "locus_latency_ms": 55.4,
      "locus_pass": true
    },
    {
      "benchmark": "SWE-bench Lite",
      "task_id": "SWE-bench_django_django-14787",
      "lang": "python",
      "target": "Multi-File Patch Generation and State Invariants",
      "description": "حل مشكلة حقيقية من مستودع ضخم مع تعديل ذري عبر عدة ملفات ومنع تعارض الحالات",
      "locus_invariant": "I2",
      "raw_prompt_tokens": 7800,
      "raw_latency_ms": 980.0,
      "raw_pass": false,
      "locus_prompt_tokens": 340,
      "locus_latency_ms": 110.0,
      "locus_pass": true
    },
    {
      "benchmark": "RepoBench",
      "task_id": "RepoBench_Rust_CrossModuleCall",
      "lang": "rust",
      "target": "Cross-Crate Trait Bound Resolution",
      "description": "استكمال كود يعتمد على استدعاءات عبر وحدات متعددة والتحقق من قيود Send/Sync",
      "locus_invariant": "I3",
      "raw_prompt_tokens": 4200,
      "raw_latency_ms": 520.0,
      "raw_pass": false,
      "locus_prompt_tokens": 195,
      "locus_latency_ms": 72.0,
      "locus_pass": true
    },
    {
      "benchmark": "CyberSecEval",
      "task_id": "CyberSec_CWE-1333_ReDoS",
      "lang": "python",
      "target": "Catastrophic ReDoS and Injection Mitigation",
      "description": "فحص وتحييد تعبير نمطي معقد لمنع التراجع الكارثي واستهلاك 100% من المعالج",
      "locus_invariant": "I5",
      "raw_prompt_tokens": 2400,
      "raw_latency_ms": 390.0,
      "raw_pass": false,
      "locus_prompt_tokens": 95,
      "locus_latency_ms": 48.0,
      "locus_pass": true
    },
    {
      "benchmark": "LiveCodeBench",
      "task_id": "LCB_Medium_2024_08_Sync",
      "lang": "typescript",
      "target": "Async Queue Concurrency and Deadlock Prevention",
      "description": "مسألة برمجية تنافسية حديثة لإدارة طوابير المهام غير المتزامنة دون تسابق",
      "locus_invariant": "I4",
      "raw_prompt_tokens": 2750,
      "raw_latency_ms": 430.0,
      "raw_pass": true,
      "locus_prompt_tokens": 135,
      "locus_latency_ms": 62.0,
      "locus_pass": true
    }
  ]
}