新增 visreg_all_attempts.md：一周内 21 组 10-epoch 训练（~30 小时 8 卡机时） + 4 个诊断探针的完整索引，总表列出每组配置/双指标/与最优的差值/判定，并对每一项解释「为什么」。核心结论：21 组里只有两个变量能产生 ~1pt —— mlfoundations#1 正则形式 SIGReg → VISReg +1.22 COCO / +2.03 IN mlfoundations#17 正则位置 clip embedding → cls raw +1.0 COCO（反证得出）其余全部落在 ±0.5pt 噪声带或有害。重点解释的几项： - mlfoundations#4 去 center 是最大单点收益（IN +1.78）：center 只度量质心、对多岛结构盲（20 岛居中时 center 与理想高斯同量级），功能又与下游 LayerNorm/L2-norm 重叠，且均值方向本是对比学习要用的信号。 - mlfoundations#7-mlfoundations#11 强度跨 4 数量级无趋势：裸 loss 降 97%（正则确实生效）指标却不动。根因是梯度占比仅 2.1e-07 —— 这个诊断同时说明此前小规模否定测试全做在错误工作点。 - mlfoundations#13/mlfoundations#14 top-K 与混合高斯目标：推理都成立（真实特征多岛，同簇率 66-68%），但被 mlfoundations#21 统一解释否掉 —— 三项正则全都看不见多岛。 - mlfoundations#19/mlfoundations#20 跨模态对齐全部有害：dist 置换不变导致退化解（COCO 0.02%，对比损失 10 epoch 卡 9.32 不降）；pair 有配对信号但与对比学习目标结构冲突。 - mlfoundations#21 统一解释：同协方差高斯对照显示岛结构从 68% 同簇率打到 15%，三项正则读数只变 0.3-7.9% —— CLIP 的语义聚类对分布正则免疫。同时更正 visreg_vs_sigreg.md 的 10.5.3：当初「K<D 比直接 MSE 温和」的说法是错的，实测 mean_k((v-t)·w_k)² 无论 K 多小都是 ‖v-t‖²/D 的无偏估计（K=16 偏差仅 +0.31%）， pair 模式就是完整逐对 MSE。补入 1200 步追踪数据（pos 涨但 neg 不降）、梯度对抗测量（cos = -0.0087）、以及 modality gap 两种成分之分 —— 一阶（质心偏移）可消，高阶（模态特异结构）不可消，故「pair 是 ModalityGapLoss 高阶推广所以更好」的推理是反的。 Co-Authored-By: Claude <noreply@anthropic.com>

Uh oh!

TPU support. #20

Description

Metadata

Metadata

Assignees

Labels

Type

Projects

Milestone

Relationships

Development

Issue actions