Skip to content

Latest commit

 

History

History
30 lines (25 loc) · 3.48 KB

File metadata and controls

30 lines (25 loc) · 3.48 KB

Paper 9: 系统与架构方向 (Systems for ML / GeoAI Infrastructure)

1. 论文基本信息

  • 拟定标题: An End-to-End MLOps Pipeline for Parameter-Efficient Fine-Tuning of Geospatial Foundation Models on Heterogeneous Satellite Imagery
    • (面向异构卫星影像的地理空间基础大模型高效参数微调端到端 MLOps 管线)
  • 目标期刊/顶会: ISPRS Journal of Photogrammetry and Remote Sensing, Computers & Geosciences, 或 ACM SIGSPATIAL
  • 核心定位: 解决工程痛点,提出新型的“算力-数据-大模型”解耦与调度架构。

2. 核心痛点 (The Problem)

目前(2025-2026年)虽然开源的遥感基础大模型(如 IBM/NASA 的 Prithvi-100M/300M)已经发布,但在真实的政府、国防和商业测绘落地场景中,面临着巨大的“最后一公里”工程断层:

  1. 输入锁死: 预训练模型强制要求标准化的多光谱复合波段(如 HLS 6 波段),而真实用户手里往往是未经预处理的、只有 4 波段的高分辨率涉密 L1A 级影像(如 ZY3, GF2)。
  2. 算力与 I/O 瓶颈: 传统 GIS 软件处理正射校正(RPC)和空间裁剪通常需要写盘操作(生成海量中间 TIFF),导致数据准备时间远大于大模型的推理时间。
  3. 微调门槛过高: 缺乏一套能让业务人员直接参与、可视化的闭环 MLOps 平台,导致大模型只能停留在 AI 实验室的代码脚本里。

3. 本文的创新点与贡献 (Contributions)

  1. 架构创新: 提出了首个空间流与张量流一体化的 Geo-MLOps 平台架构。该架构深度融合了 PostGIS 矢量引擎与 PyTorch 分布式训练引擎,实现了地理空间裁剪到内存张量转换的零拷贝(Zero-copy)。
  2. 动态融合管线 (DataFusionPipeline): 设计了一种自适应的张量对齐与通道填充机制。它允许系统在内存中直接读取无坐标系的高分卫星 RPC 参数进行动态正射投影,并自动与云端(GEE)拉取的 Sentinel-1 雷达波段进行精准的空间对齐。
  3. 大模型本地化 PEFT 平台: 实现并开源了一个基于 WebSocket 的参数高效微调(PEFT)调度系统,使得预训练视觉 Transformer(ViT)可以在几十秒内(仅需几十个 Epoch)完成区域特征的适配,并自动通过云对象存储(OBS)完成模型资产的存算分离。

4. 实验设计 (Experimental Design)

  • 实验组设置:
    • Baseline: 传统 Python 脚本处理管线(先用 GDAL/QGIS 裁剪写盘,再用 DataLoader 读取)。
    • Ours (AE Pipeline): 本文提出的端到端内存直通对齐与训练管线。
  • 性能指标 (Metrics):
    1. 端到端延迟 (End-to-End Latency): 测量从“选定行政区多边形”到“模型完成 50 Epoch 微调”的总耗时。证明本架构减少了 70% 的 I/O 阻塞时间。
    2. 吞吐量 (Throughput): 测量 DataFusionPipeline 生成 128x128 训练张量的速率(Patches/sec)。
    3. 显存利用率 (GPU Memory Utilization): 对比不同 Batch Size 下,本系统的资源调度效率。

5. 预期结论 (Expected Conclusion)

本系统成功跨越了 GIS 数据工程与 AI 深度学习框架之间的鸿沟。实验证明,该 MLOps 管线不仅能无缝吞吐异构的私有高分影像,还能在降低 70% 数据准备时间的前提下,实现 Prithvi 等亿级参数大模型的极速本地化微调,为基础大模型在遥感工业界的规模化落地提供了范式参考。