Skip to content

README.md

Latest commit

 

History

History
63 lines (47 loc) · 2.57 KB

README.md

File metadata and controls

63 lines (47 loc) · 2.57 KB
Raw

Agent-Memory# Multi-Modal Hierarchical Memory System (MMHMS)

一个面向智能体的多模态分层记忆系统，支持个体记忆、情景记忆和世界记忆，具有插件式扩展、时间感知和多模态检索能力。

🌟 项目简介

该项目旨在为具身智能体、智能机器人或多模态 AI 系统提供一个可扩展的记忆框架。系统将记忆分为三大类：

  1. 个体记忆 (Individual Memory)

    • 行为历史 (Action History)
    • 抽象经验 (Abstract Experience)
    • 能力工具 (Ability/Tools)

  2. 情景记忆 (Context Memory)

    • 现实物理场景 (Physical Environment, 如点云/RGB图像)
    • 数据分析场景 (Data Analysis, 如报表/图表)
    • 软件/手机操作 GUI 场景 (GUI Operation)

  3. 世界记忆 (World Memory)

    • 专业知识文档 (Professional Docs, 手册/论文)
    • 常识信息 (Common Knowledge)
    • 网络检索结果 (Web Search)

每条记忆支持多模态存储（文本、图像、点云等），带有时间戳，并可通过多种检索策略进行查询。系统可通过继承和插件机制灵活扩展新的记忆类型、检索方法或存储后端。

🔑 主要特性

  • 分层结构：三大类记忆 + 可自定义子类
  • 多模态支持：文本、图像、点云等多模态数据
  • 统一接口：增、删、改、查操作统一管理
  • 时间感知：每条记忆带时间戳，可按时间段检索或衰减遗忘
  • 插件式扩展：可继承顶层类，自定义存储、检索、合并策略
  • 统一管理：通过 UnifiedMemoryManager 对不同记忆类型统一操作

🔑 Memory System 项目结构

memory_system/
├── memory_item.py           # MemoryItem类
├── base_memory.py           # BaseMemoryModule抽象基类
├── memory_types/            # 各类具体记忆子类
│   ├── __init__.py
│   ├── individual.py        # IndividualMemory及子类
│   ├── context.py           # ContextMemory及子类
│   └── world.py             # WorldMemory及子类
├── manager.py               # UnifiedMemoryManager
├── utils/                   # 工具函数
│   ├── __init__.py
│   ├── embedding.py         # 多模态embedding工具
│   ├── serialization.py     # 保存/加载记忆条目
│   ├── time_utils.py        # 时间处理与遗忘策略
│   └── search_utils.py      # 检索工具函数
└── examples/                # 示例代码
    └── test_memory.py       # 示例脚本

---