Skip to content

flowise_setup_guide.md

Latest commit

 

History

History
248 lines (195 loc) · 8.45 KB

flowise_setup_guide.md

File metadata and controls

248 lines (195 loc) · 8.45 KB
Raw

📖 Hướng dẫn cấu hình Flowise - Hệ thống Phân tích Vi phạm Giao thông

Mục lục

  1. Truy cập Flowise
  2. Cấu hình Chatflow 1: RAG Tra cứu Luật
  3. Cấu hình Chatflow 2: Agentflow Phân tích Ảnh
  4. Test & Verify

1. Truy cập Flowise

Sau khi chạy docker compose up -d, truy cập:

2. Chatflow 1: RAG Tra cứu Luật Giao thông

Chatflow này cho phép người dùng hỏi đáp về luật giao thông, mức phạt, quy tắc GT dựa trên knowledge base.

Bước 1: Tạo Chatflow mới

  • Click "Chatflows" → "Add New"
  • Đặt tên: "Tra cứu Luật Giao thông VN"

Bước 2: Thêm các Nodes

Node 1: ChatOllama (Chat Model)

  • Kéo node ChatOllama vào canvas
  • Cấu hình:
    • Base URL: http://host.docker.internal:11434
    • Model Name: llama3.1:8b
    • Temperature: 0.3
    • Top P: 0.9

Node 2: Ollama Embeddings

  • Kéo node Ollama Embeddings vào canvas
  • Cấu hình:
    • Base URL: http://host.docker.internal:11434
    • Model Name: nomic-embed-text

Node 3: Chroma (Vector Store)

  • Kéo node Chroma vào canvas
  • Cấu hình:
    • Collection Name: traffic_law_vn
    • Chroma URL: http://chromadb:8000
  • Kết nối: Ollama Embeddings → Chroma (Embeddings input)

Node 4: PDF File Loader

  • Kéo node PDF File vào canvas
  • Upload 3 files từ thư mục knowledge_base/:
    • nghi_dinh_168_2024.md (đổi sang .pdf hoặc dùng Text File Loader)
    • luat_giao_thong.md
    • cac_loi_vi_pham.md
  • Lưu ý: Nếu dùng file .md, hãy dùng node Text File thay vì PDF File

Node 5: Recursive Character Text Splitter

  • Kéo node Recursive Character Text Splitter
  • Cấu hình:
    • Chunk Size: 1000
    • Chunk Overlap: 200
    • Separators: ["\n\n", "\n", "---", " "]
  • Kết nối: Text File → Text Splitter → Chroma (Document input)

Node 6: Conversational Retrieval QA Chain

  • Kéo node Conversational Retrieval QA Chain
  • Kết nối:
    • ChatOllama → Chat Model input
    • Chroma → Vector Store Retriever input
  • Cấu hình:
    • Return Source Documents: True
    • System Message: (xem bên dưới)

Node 7: Buffer Memory

  • Kéo node Buffer Memory
  • Kết nối: → Memory input của QA Chain
  • Cấu hình:
    • Session ID: tự động
    • Memory Key: chat_history

Bước 3: System Message cho RAG Chatflow

Bạn là trợ lý pháp luật giao thông đường bộ Việt Nam, chuyên về Nghị định 168/2024/NĐ-CP.

Nhiệm vụ của bạn:
1. Trả lời câu hỏi về luật giao thông Việt Nam dựa trên tài liệu được cung cấp
2. Tra cứu mức phạt cho các lỗi vi phạm cụ thể
3. Giải thích quy tắc giao thông
4. Thông báo số điểm trừ trên GPLX

Quy tắc:
- Luôn trả lời bằng tiếng Việt
- Chỉ trả lời dựa trên thông tin trong tài liệu, không bịa đặt
- Nếu không tìm thấy thông tin, hãy nói rõ "Tôi không tìm thấy thông tin này trong tài liệu"
- Trích dẫn nguồn (Nghị định, Điều, Khoản) khi có thể
- Format câu trả lời rõ ràng với bullet points

Bước 4: Kết nối tổng quan

Text File Loader → Text Splitter → Chroma ← Ollama Embeddings
                                      ↓
ChatOllama → Conversational Retrieval QA Chain ← Buffer Memory

Bước 5: Lưu & Ingest

  • Click "Save" để lưu chatflow
  • Flowise sẽ tự động ingest documents vào ChromaDB khi lần đầu tiên có query

3. Chatflow 2: Agentflow Phân tích Vi phạm

Chatflow này sử dụng Agent + Custom Tool để phân tích ảnh vi phạm.

Bước 1: Tạo Chatflow mới

  • Click "Chatflows" → "Add New"
  • Đặt tên: "Phân tích Vi phạm Giao thông (Multimodal)"

Bước 2: Thêm các Nodes

Node 1: ChatOllama

  • Base URL: http://host.docker.internal:11434
  • Model Name: llama3.1:8b
  • Temperature: 0.2
  • Allow Image Upload: ✅ (nếu có option)

Node 2: Tool Agent

  • Kéo node Tool Agent vào canvas
  • Kết nối ChatOllama → Chat Model input

Node 3: Custom Tool - Phân tích ảnh

  • Kéo node Custom Tool vào canvas
  • Cấu hình:
    • Tool Name: analyze_traffic_image
    • Tool Description: 
      Công cụ phân tích ảnh vi phạm giao thông. Sử dụng khi người dùng upload ảnh 
hoặc hỏi về một hình ảnh vi phạm giao thông. Tool sẽ phân tích ảnh bằng AI 
để nhận diện loại vi phạm, biển số xe, và các thông tin liên quan.
Input: URL hoặc base64 của ảnh
Output: JSON với thông tin phân tích vi phạm
    • Method: POST
    • URL: http://backend:8080/analyze-image
    • Headers: {"Content-Type": "multipart/form-data"}
    • Body: File upload

Node 4: Custom Tool - Tra cứu mức phạt

  • Kéo node Custom Tool vào canvas
  • Cấu hình:
    • Tool Name: lookup_violation_penalty
    • Tool Description: 
      Tra cứu mức phạt cho một lỗi vi phạm giao thông cụ thể theo Nghị định 168/2024.
Input: tên lỗi vi phạm (VD: "vượt đèn đỏ", "không đội mũ bảo hiểm")
Output: Mức phạt tiền, số điểm trừ GPLX, thời gian tước GPLX
    • Method: GET
    • URL: http://backend:8080/lookup-penalty?violation={input}

Node 5: Buffer Memory

  • Kết nối → Memory input của Tool Agent

Bước 3: System Message cho Agent

Bạn là chuyên gia phân tích vi phạm giao thông đường bộ Việt Nam.

Khi người dùng gửi ảnh hoặc PDF:
1. Sử dụng tool "analyze_traffic_image" để phân tích hình ảnh
2. Dựa trên kết quả phân tích, xác định loại vi phạm cụ thể
3. Sử dụng tool "lookup_violation_penalty" để tra mức phạt
4. Tổng hợp và trả lời đầy đủ:
   - Mô tả tình huống vi phạm
   - Loại vi phạm
   - Biển số xe (nếu có)
   - Mức phạt theo Nghị định 168/2024
   - Số điểm trừ GPLX
   - Tước GPLX (nếu có)

Khi người dùng hỏi về luật giao thông:
- Trả lời dựa trên kiến thức về Nghị định 168/2024 và Luật GTĐB 2024
- Cung cấp thông tin chi tiết về mức phạt

Luôn trả lời bằng tiếng Việt, rõ ràng và chuyên nghiệp.

Bước 4: Bật Image Upload

  • Trong settings của Chatflow → "Chat" tab
  • Bật "Allow Image Upload" ✅
  • Chọn "Image Upload Method": imgURL hoặc imgUpload

4. Test & Verify

Test RAG Chatflow

Gửi các câu hỏi sau:

  1. ✅ "Mức phạt vượt đèn đỏ với ô tô là bao nhiêu?"

    • Expected: 18-20 triệu, 4 điểm, tước GPLX 1-3 tháng

  2. ✅ "Xe máy không đội mũ bảo hiểm bị phạt gì?"

    • Expected: 400-600 nghìn

  3. ✅ "Nồng độ cồn trên 80mg bị xử phạt như thế nào?"

    • Expected: 30-40 triệu (ô tô), 10-14 triệu (xe máy), tước GPLX 22-24 tháng

  4. ✅ "Lùi xe trên đường cao tốc bị phạt bao nhiêu?"

    • Expected: 30-40 triệu, 12 điểm, tước GPLX 5-7 tháng

Test Agent Chatflow

  1. Upload ảnh xe vượt đèn đỏ → Verify nhận diện vi phạm
  2. Upload ảnh xe đỗ sai quy định → Verify nhận diện loại vi phạm
  3. Hỏi "xe trong ảnh phạm luật gì?" → Verify trả lời chính xác
  4. Hỏi "biển số xe là gì?" → Verify OCR hoạt động

Troubleshooting

Lỗi kết nối Ollama

Error: Connection refused, http://host.docker.internal:11434

Fix: Đảm bảo Ollama đang chạy trên máy host: ollama serve

Lỗi model không tìm thấy

Error: model not found

Fix: Pull model: ollama pull llama3.1:8b và ollama pull nomic-embed-text

Lỗi ChromaDB connection

Error: Cannot connect to ChromaDB

Fix: Kiểm tra container chromadb đang chạy: docker ps | grep chromadb

Response chậm

  • VLM inference trên CPU rất chậm (2-5 phút/ảnh)
  • Khuyến nghị: Sử dụng GPU hoặc giảm kích thước model
  • Có thể tắt VLM và chỉ dùng OCR bằng parameter include_vlm=false