Skip to content

README.md

Latest commit

 

History

History
55 lines (44 loc) · 3.62 KB

README.md

File metadata and controls

55 lines (44 loc) · 3.62 KB
Raw

JYDB 脚本

活动 agent 只通过 jydb-agent 运行。本目录用于离线资产构建、数据集 materialization、环境诊断和结果分析，不定义第二条 runtime。

离线 Schema Linking

  • ../src/jydb_text2sql/schema_linker/：运行时表/列召回的正式包（routing、BM25、 LLM 选表、规则注入、共现扩展、列融合）；本目录中的构建/评测入口从该包导入。
  • baseline_retrieval.py、baseline_dense.py：词面 / dense 检索基线（"floor"），不是 agent workflow。
  • schema_link_split.py：固定 train/test 切分加载，被多数实验脚本 import。
  • schema_link_eval.py：算法核心（BM25 / +hub / +dim）评测，不含 LLM。
  • schema_link_llm.py：+llm rung（全目录 LLM 选表）。
  • schema_link_memory.py：+memory episodic-memory rung（fuse / stream / eval / cost）。
  • schema_link_columns.py：列级评测入口。
  • schema_link_columns_llm.py：+llm_col 列级 LLM 选择。
  • schema_link_columns_memory.py：列级 episodic memory（docstring 标注 gold 路径为 legacy oracle 上界）。
  • schema_link_columns_semantic.py：从缓存重建语义列指标。
  • schema_link_column_generic.py：plumbing-column 名字黑名单，被多个 builder / 列脚本 import。
  • schema_link_terms.py：legacy term→column 索引构建器（docstring 自述 legacy，但 schema_linker/semantic_columns.py 仍 import 其产物）。
  • run_schema_link_benchmark.py、eval_schema_routing.py：工具层 linker 评测与 routing 池召回上界。

数据与 Schema 资产

  • build_gold_schema.py、build_join_pairs.py、build_relation_graph.py
  • build_column_cooccur.py、build_table_cooccur.py
  • build_jydb_column_glossary.py、build_temporal_patterns.py
  • build_p3_medium_subset.py
  • materialize_p3_pilot.py：只物化 pilot 数据与 manifest，不生成运行配置。

这些脚本可能重写 data/ 或 artifacts/ 下的派生资产。运行前确认输入、输出和 gold 边界，避免用 test gold 构造模型输入。若更新活动 schema-link 资产，必须同步更新 configs/assets/schema_link_assets.v1.json 的大小和 SHA-256，并执行 provenance 测试。

诊断与分析

  • 环境：p3_env_check.py、check_jydb_schema.py
  • 网关/Provider 探针（一次性诊断，结论已记入研究文档）：p3_gateway_stability_probe.py、probe_company_llm.py
  • 结果分析（读取六个冻结 run 的显式 allowlist，不扫描 artifacts/runs 任意目录）：
    • analyze_capability_study.py → artifacts/capability_study_evidence.json（未入 git，重跑生成）
    • analyze_output_termination.py → artifacts/output_termination_analysis.json（未入 git，重跑生成）
    • analyze_table_miss.py：per-task 表召回 table_miss 归因
    • build_jydb_failure_taxonomy.py：EX 失败 taxonomy 预填（有单测 tests/test_build_jydb_failure_taxonomy.py）
    • analyze_context_efficiency.py <run_dir>：离线重放冻结 trace，比较 assistant/tool 历史字符量并检查 query 信息合同；不测实际 token、provider cache、延迟或 EX
  • analyze_ex_failures.py <run_dir>... --output <report.json>：汇总模型实际看到的 messages_sent、协议错误、SQL 候选、answer 选择和 strict EX；只自动认定直接观察到的 H1 协议终止，H2/H3 保留人工 trace 审核。

运行主链

uv run jydb-agent run-task --config <config.yaml> --task-id <task_id> --evaluate
uv run jydb-agent run-suite --config <config.yaml> --evaluate

脚本不得导入或恢复已删除的多源工具、sub-agent、rollout voting 或通用 Python tool。