Skip to content

Testing_and_Evaluation_Guide.md

Latest commit

 

History

History
72 lines (55 loc) · 6.75 KB

Testing_and_Evaluation_Guide.md

File metadata and controls

72 lines (55 loc) · 6.75 KB
Raw

AlphaEarth 平台学术评测与操作实战指南 (Testing & Evaluation Guide)

本指南旨在指导您如何基于最新版的 AlphaEarth 本地化训练系统，完成对 Paper 9 (系统架构)、Paper 10 (多模态融合) 和 Paper 11 (时空泛化与特征流形) 三大核心理论的自动化实验与数据采集。

🎯 关于测试数据选择的解答

问：我使用这份数据 D:\adk\01数据样例\zy302a_mux_... 进行测试行不行？

答：完全可以，而且这是极其完美的核心测试数据！ 这是一份资源三号（ZY3）的高分多光谱影像。它的价值在于：

  1. 它是私有涉密级数据：证明了系统能够处理非公开的本地数据源，不上云，保密性极高。
  2. 它是 L1A 级带 RPC 参数的影像：系统会自动检测到它没有标准的坐标系（CRS），并在内存中激活 WarpedVRT 引擎，利用其附带的 _rpc.txt 文件进行实时的动态正射校正，这直接验证了系统的核心预处理能力。
  3. 它是 4 波段光学数据：由于 AlphaEarth/Prithvi 基座期望的是 6 波段输入，这完美触发了我们在 Paper 10 中设计的**“1x1 Conv 智能模态映射头 (Modality Adapter)”**。

问：为了完成论文的对照组实验，我还需要选择哪些数据作为测试的输入？

答：除了你本地的 ZY3 数据，为了体现系统强大的“跨源异构融合”能力，你在大屏操作时，还必须在左侧的“获取卫星数据”列表里，勾选以下公开数据源（系统会自动去 Google Earth Engine 下载并与你的 ZY3 对齐）：

  1. Sentinel-1 (SAR 雷达)：必选！ 这是一颗能够穿透云层和植被的合成孔径雷达卫星。将它（1 通道）与你的 ZY3（4 通道）融合，正好凑成 5 个通道输入模型，完美论证 Paper 10 中“光学+雷达”跨模态堆叠对分类准确率的提升。
  2. Sentinel-2 (作为纯光学 Baseline 测试时可选)：当你要做“消融实验”时，可以单独只勾选 Sentinel-2，看看不加本地 ZY3 高分数据时，模型的聚类得分（Silhouette Score）有多低。

🛠️ 标准测试操作流程 (SOP)

请确保后台服务已启动 (http://localhost:8085)，并准备好截图工具以捕捉实验数据。

实验一：验证 Paper 9（内存直通的“零拷贝”流水线极致性能）

目的：证明我们的 MLOps 管线比传统写盘方式快。

  1. 打开界面：访问 http://localhost:8085，按 Ctrl+F5 硬刷新。
  2. 进入数据源管理：点击左侧侧边栏【数据源与预处理流水线】。
  3. 选择测试区域：在搜索框输入“和平村”或任意乡镇，点击回车并从下拉列表中选中。
  4. 选择数据源：点击【刷新卫星】，在下方表格中勾选 Sentinel-1（或者勾选多个，为了测试融合）。同时，系统已在后台代码中配置，只要找不到对应名字，就会自动抓取你 raw_samples 目录下的 ZY3 作为本地高分数据注入。
  5. 对照组 A (传统写盘模式)：
    • 不要勾选 启用内存直通(Zero-Copy)模式 🚀。
    • 点击【生成训练切片任务】。
    • 📝 记录数据：等待进度条到达 100%，观察弹出日志或终端日志，记录下此时的耗时（预计包含明显的磁盘 I/O 和 OBS 云端上传耗时）。
  6. 对照组 B (内存直通模式)：
    • 修改区域或重新搜索。
    • 勾选 启用内存直通(Zero-Copy)模式 🚀。
    • 点击【生成训练切片任务】。
    • 📝 记录数据：等待完成后，系统会弹出一行极具视觉冲击力的提示：内存直通 🚀 吞吐量: xxx patches/sec, 耗时: xxx s。截图保存，这是 Paper 9 性能对比图的核心素材！

实验二：验证 Paper 11（潜空间 PCA 降维可视化与微调甜点区）

目的：直观展示 Prithvi-100M 大模型是如何在 50 个 Epoch 内“顿悟”中国本地地貌的。

  1. 进入训练监控：点击左侧侧边栏【训练监控驾驶舱】。
  2. 选择数据集：在顶部下拉菜单中，选择你刚刚切好的数据集（推荐选择带有 [内存直通 🚀] 标志的数据集以享受秒级加载）。
  3. 开始炼丹：点击【开始训练】。
  4. 📝 核心截图时刻：
    • Epoch 1-5：盯住最右侧的 “特征空间流形 (PCA Latent Space)” 散点图，此时的橙色点通常混作一团，截图保存（命名为 OOD_Initial_State.png）。
    • Epoch 20-30：随着 Loss 下降，你会看到散点图开始像细胞分裂一样，分离出 2 到 3 个明显的簇（Clusters）。这代表大模型开始把水体、植被、建筑等特征在 64 维空间里剥离开来了，截图保存（命名为 Mid_Adaptation.png）。
    • Epoch 50：训练结束时，截图保存最终的散点分布以及平滑下降的 Loss 曲线（命名为 Sweet_Spot_Convergence.png）。 这三张图放在论文里，就是大模型“少样本快速适应（Few-shot Adaptation）”的最强铁证！

实验三：验证 Paper 10（跨模态对齐映射头与聚类得分）

目的：用真实的 Silhouette Score（轮廓系数）证明：ZY3+雷达 的融合，比单模态数据更能让大模型提取出具有线性可分性的强语义特征。

  1. 进入资产库：点击左侧侧边栏【模型资产库】。
  2. 刷新并查找：点击右上角【刷新列表】，你会看到刚刚用 50 个 Epoch 跑出来的本地化 AlphaEarth 模型卡片。
  3. 触发评估验证：点击该卡片下方的 【实测模型并查看报告】。
  4. 📝 记录数据：系统此时会在后台载入刚才训练好的权重，把数据重新跑一遍 K-Means 聚类。几秒后会弹出一份详细的报告。
    • 记录报告中的 K-Means 聚类轮廓系数 (Silhouette Score)（正常应该在 0.4 到 0.8 之间）。
    • 记录 预估下游分类准确率（基于轮廓系数映射）。
  5. 消融实验 (Ablation Study)：
    • 回到【数据源管理】，这次只勾选 Sentinel-2（纯光学，不融合雷达，也不用本地 ZY3），重新切片，重新到【监控大屏】跑一次训练。
    • 跑完后回到【资产库】点击评估，记录下纯光学的 Silhouette Score。
    • 论文结论：你会发现，“纯开源光学”的得分，显著低于“ZY3 高分光学 + Sentinel-1 雷达”的融合得分。完美证明了我们的 MLOps 管线和智能模态映射头的实战价值！

💡 提示：整个流程无需写任何代码，所有数据图表和指标（Patches/sec, PCA 散点, Silhouette Score）均由系统底层直接算出并可视化在前端。祝您测试顺利，论文数据爆表！