Skip to content

Commit 70f75c2

Browse files
committed
v0.42.10: HP-14 periodic view worker
Signed-off-by: Eli Ma <eli@patch.sh>
1 parent 49b9085 commit 70f75c2

10 files changed

Lines changed: 1422 additions & 37 deletions

File tree

‎Cargo.lock‎

Lines changed: 1 addition & 1 deletion
Some generated files are not rendered by default. Learn more about customizing how changed files appear on GitHub.

‎Cargo.toml‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,6 @@
11
[package]
22
name = "mega2"
3-
version = "0.42.9"
3+
version = "0.42.10"
44
edition = "2024"
55
license = "MIT OR Apache-2.0"
66
description = "Monorepo engine and Git hosting server for AI agents: trunk-based storage, Git Smart HTTP, Git LFS, OCI registry, and Agent Session Capture"

‎docs/deploy-trunk.md‎

Lines changed: 13 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -501,3 +501,16 @@ DELETE FROM mega_view_root_chain_scan;
501501
根链首次判为不连续时会发出带 `reason` 与 `commit_id` 的 ERROR 事件,没有 metric 字段。证据是 `mega_view_root_chain_scan` 中 pos 最大的一行:若 `main@/` 已恢复为链尾后代,使用 clear-root-chain-scan;否则使用 rebuild-all,并公告视图历史可能改变。
502502

503503
P0 不提供设计 §4.2 的根链审计 SQL:审计需要逐项复算 SHA-1,Postgres 没有内置 sha1,本仓没有 pgcrypto 迁移。带 review 形态历史的部署在启用视图前需要这项审计;P0 只能依靠停止告警发现首个失败点。完整审计由 `DEFER-HP-04` 的 `mega2 view status` 承接。
504+
505+
### 13.1 视图投影 worker
506+
507+
投影 worker 只随 HTTP 服务启动:使用 `service http`,或 `service multi` 中包含 HTTP 的副本。
508+
只运行 `service ssh` 的进程不启动投影 worker,也不执行周期补偿;部署中至少一个副本必须运行
509+
HTTP 服务。
510+
511+
`worker_interval_secs` 是可热加载的周期,也是缺少进程内信号时推送后视图额外滞后的上界,另加
512+
一轮执行所需的时间。根链被判为不连续时 worker 跳过整轮补偿;按本节停服步骤恢复根链后,重启
513+
HTTP 服务即可从已提交水位继续。
514+
515+
停服时 worker 丢弃正在执行的轮。已提交的根链段与投影批会保留,未提交的当前事务会回滚;服务
516+
重启后从这些已提交水位继续追赶。

‎docs/plan/plan-20261002.md‎

Lines changed: 23 additions & 18 deletions
Large diffs are not rendered by default.

‎docs/refactoring/integration.md‎

Lines changed: 37 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -399,6 +399,43 @@ author 时间戳的原始字节经 `Commit::from_bytes` 和 `into_mega_model`
399399
`metrics_snapshot()` 另以一条 `warming_since IS NOT NULL` 计数查询填入
400400
`view_cold_start_slots_in_use`,并在每个快照步骤与同一原生 SELECT 的结果比较。
401401

402+
## DB 模块覆盖:视图 worker(HP-14)
403+
404+
六个 lib 用例是 `view_worker_spawned_only_when_enabled`、`worker_hot_reload`、
405+
`round_selection`、`compensation_liveness`、`round_errors_do_not_stop_worker` 与
406+
`view_runtime_wiring`。它们覆盖启动时 `[views].enabled` 门控、正在执行的轮被取消、
407+
热加载、候选选择、周期补偿、候选与整轮错误隔离,以及共享运行时的作用域。视图 trunk
408+
配置使用 `push_policy = "trunk"`、`push_auth = "none"`、`ssh_receive_pack = false` 与
409+
`cedar.enforcement = "off"`,并显式启用 views。
410+
411+
`spawn_view_worker_with_round` 是测试替换轮函数的接缝,`production_round` 是取得生产轮的
412+
唯一入口。每轮先读配置快照、试锁扩展根链、查询候选,再按主键顺序调用共享服务的
413+
`catch_up`;每批的 `batch_size` 仍由 `catch_up` 自行读取,所以热改在下一批生效。候选
414+
失败只记录错误并继续其余候选;根链或候选查询失败只记录该轮错误,下一 tick 继续。测试
415+
通过 `compensation_round` 的逐候选函数注入错误或记录候选集合。
416+
417+
`ViewRuntime` 随一个 `Storage` 及其克隆共享 `ViewMetrics`、`ViewSignal` 和一次性的
418+
`OnceLock` 服务槽。`view_projection_service()` 传给服务的内部 Storage 使用空槽,避免
419+
服务反向持有同一槽产生 Arc 环;因此服务、memo 和计数器在同一进程 Storage 内共享,而
420+
测试 schema 的连接仍可释放。`notify_worker()` 用 `notify_one` 保留许可;HP-32、HP-19、
421+
HP-33 和 HP-21 分别消费该信号接口。
422+
423+
worker 只在启动时 enabled 才注册热加载订阅者。订阅者只持有 watch 控制结构,不捕获
424+
Storage;收到 `views.` 应用字段后转发新的 `ViewsConfig`,`worker_interval_secs` 改变时以
425+
`.max(1)` 重建 ticker。循环把进行中的轮与 `token.cancelled()` 放在同一个 `tokio::select!`
426+
中,取消时丢弃本轮而不等待无上界的冷启动;短事务、根链段和投影批会各自回滚或保留已
427+
提交状态。后台根链扩展传入 `budget = None`,不受 `max_append_walk` 限制,保证超过前台
428+
上限的根链仍在后台追平。
429+
430+
`worker_hot_reload` 与 `compensation_liveness` 的双连接池情形使用 `test_db_config` 和
431+
`database_connection` 建 worker、持锁两个连接池,持锁事务不占 worker 的池连接。
432+
`worker_hot_reload` 以 `mega_view_filter` 的表锁让首轮已取旧配置快照、但还未开始第一批,
433+
再热改 `batch_size`;根链缺口使新批大小 1 的第一批推进到 seq 3,区别于缓存旧值的结果。
434+
`compensation_liveness` 覆盖冷启动在 seq 1 中断后由另一个 worker 继续、链尾水位但尚未就绪的
435+
过滤器、持有视图锁后释放且不发送信号,以及超过 `max_append_walk` 的根链在后台无预算追平。
436+
故障注入只改列名,不改表名,避免 `search_path` 回退到 public 表。`start_http` 以
437+
`ctx.storage.clone()` 启动 worker,并在关闭时以 30 秒上限等待任务结束。
438+
402439
## 迁移覆盖:`merge_queue.requester` nullable 列(UN-18)
403440

404441
**历史表。** [`plan-20260910.md`](../plan/plan-20260910.md) MW-05 已 `DROP TABLE merge_queue`;下列描述 UN-18 当时的加列迁移,不再是现行 schema。

‎src/jupiter/service/mod.rs‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -15,4 +15,5 @@ pub mod storage_event_emitter;
1515
pub mod storage_event_transport;
1616
pub mod view_metrics;
1717
pub mod view_projection_service;
18+
pub mod view_worker;
1819
pub mod webhook_service;

0 commit comments

Comments
 (0)