Skip to content

Latest commit

 

History

History
346 lines (257 loc) · 8.62 KB

ARCHITECTURE.md

File metadata and controls

346 lines (257 loc) · 8.62 KB

DataFlow+ 系统架构文档

🏗️ 整体架构

DataFlow+ 采用模块化设计,核心思想是通过LLM驱动的智能数据处理,将原始数据提升到种子数据的质量水平。

┌─────────────────────────────────────────────────────────────┐
│                    DataFlow+ 系统架构                        │
├─────────────────────────────────────────────────────────────┤
│  Input: Raw Data + Seed Data → Output: High-Quality Data     │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                    核心处理流程                               │
├─────────────────────────────────────────────────────────────┤
│  1. 结构化理解 → 2. Pipeline编排 → 3. 算子生成 → 4. 执行     │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                    LLM增强层                                │
├─────────────────────────────────────────────────────────────┤
│  • 智能理解分析  • 动态编排  • 代码生成  • 内容增强         │
└─────────────────────────────────────────────────────────────┘

📦 核心模块

1. Core 核心服务层

core/
├── config_manager.py    # 配置管理服务
├── llm_service.py       # LLM服务封装
├── logger.py           # 统一日志服务
└── path_manager.py     # 路径管理服务

职责:

  • 提供系统基础服务
  • 统一配置和日志管理
  • LLM API调用封装
  • 文件路径管理

2. Subsystems 子系统层

subsystems/
├── structured_understanding/    # 结构化理解子系统
├── pipeline_orchestration/      # Pipeline编排子系统
├── operator_generation/         # 算子生成子系统
├── operator_management/         # 算子管理子系统
├── language_management/         # 语言管理子系统
└── llm_serving/                # LLM服务子系统

🔄 处理流程详解

阶段1: 结构化理解 (Structured Understanding)

目标: 分析原始数据和种子数据,生成处理蓝图

输入:

  • 原始数据文件
  • 种子数据文件

处理过程:

  1. 文件格式分析
  2. 质量差异分析
  3. 处理目标定义
  4. 领域特征识别
  5. 关键字段分析

输出:

  • 结构化理解结果JSON文件
  • 包含处理蓝图和字段映射

核心类:

class UnderstandingAnalyzer:
    def analyze_data_differences()
    def generate_processing_blueprint()
    def identify_key_fields()

阶段2: Pipeline编排 (Pipeline Orchestration)

目标: 基于理解结果,智能编排数据处理pipeline

三阶段编排:

2.1 自由拟合 (Free Fitting)

  • LLM生成高层处理意图
  • 不依赖具体算子实现
  • 关注数据转换方向

2.2 模板组合 (Template Combination)

  • 基于算子模板组合pipeline
  • 使用预定义的算子能力
  • 确保pipeline可执行性

2.3 约束搜索 (Constrained Search)

  • 优化和完善pipeline逻辑
  • 处理边界情况和异常
  • 最终确定算子序列

核心类:

class PipelineOrchestration:
    def _free_fitting_stage()
    def _template_combination_stage()
    def _constrained_search_stage()

阶段3: 算子生成 (Operator Generation)

目标: 基于编排结果,迭代生成可执行的算子代码

迭代生成机制:

  1. 从第一个算子开始
  2. 生成包含当前算子的完整可执行代码
  3. 运行代码获取中间结果
  4. 使用中间结果指导下一步生成
  5. 重复直到所有算子生成完成

LLM增强算子:

  • 支持LLM API调用的智能算子
  • 自动生成LLM调用代码
  • 统一的API配置管理

核心类:

class OperatorGeneration:
    def generate_operators()
    
class PipelineGenerator:
    def generate_iterative_pipeline()
    def _generate_executable_pipeline()
    
class PipelineExecutor:
    def run_pipeline_and_get_result()
    
class ResultManager:
    def save_step_result()
    def save_final_data()

阶段4: Pipeline执行 (Pipeline Execution)

目标: 运行生成的pipeline,获取最终处理结果

执行过程:

  1. 加载最终pipeline代码
  2. 执行完整的数据处理流程
  3. 输出高质量的处理结果
  4. 保存结果和日志

🧩 算子系统

算子注册表 (Operator Registry)

文件: data/operator_registry.json

结构:

{
  "operators": {
    "category": {
      "operator_name": {
        "description": "算子描述",
        "input_keys": ["input1", "input2"],
        "output_keys": ["output1"],
        "parameters": {...},
        "category": "processing",
        "requires_llm": true,
        "llm_task": {...},
        "dependencies": []
      }
    }
  }
}

LLM增强算子

标记: requires_llm: true

LLM任务配置:

{
  "llm_task": {
    "system_prompt": "系统提示",
    "user_prompt_template": "用户提示模板",
    "expected_output_format": "json|text",
    "response_fields": ["field1", "field2"]
  }
}

函数式设计

设计理念: "搭积木"式的算子组合

特点:

  • 每个算子都是独立函数
  • 函数间通过参数传递数据
  • 支持灵活组合和重用
  • 易于测试和维护

示例:

def read_jsonl_file(file_path: str) -> List[Dict]:
    """io.read_jsonl_file - 读取JSONL文件"""
    # 实现逻辑
    return data

def enhance_text_with_llm(text: str) -> str:
    """gen.text_generator - LLM增强文本"""
    # LLM调用逻辑
    return enhanced_text

🔧 配置系统

主配置文件

文件: config/config.json

配置项:

  • LLM服务配置
  • Pipeline参数
  • 系统设置

API密钥配置

文件: config/api_keys.json

支持提供商:

  • OpenAI
  • 自定义API端点

路径管理

类: PathManager

功能:

  • 统一管理项目路径
  • 自动创建必要目录
  • 支持相对和绝对路径

📊 数据流

输入数据流

Raw Data (JSONL) → 结构化理解 → 处理蓝图
Seed Data (JSONL) → 质量分析 → 目标定义

处理数据流

处理蓝图 → Pipeline编排 → 算子序列 → 代码生成 → 执行结果

输出数据流

执行结果 → 格式转换 → 最终数据 (JSONL)

🔒 安全考虑

API密钥管理

  • 配置文件不提交到版本控制
  • 支持环境变量配置
  • 密钥加密存储(可选)

数据安全

  • 本地处理,不上传数据
  • 支持数据脱敏
  • 访问权限控制

🚀 扩展性

添加新算子

  1. 在算子注册表中注册
  2. 实现算子函数
  3. 添加LLM支持(可选)

支持新数据格式

  1. 扩展文件解析器
  2. 更新格式检测逻辑
  3. 添加格式转换算子

集成新LLM服务

  1. 扩展LLM服务类
  2. 添加新的API适配器
  3. 更新配置系统

📈 性能优化

并行处理

  • 支持多线程算子执行
  • 批量LLM API调用
  • 异步处理机制

缓存机制

  • 中间结果缓存
  • LLM响应缓存
  • 算子结果缓存

资源管理

  • 内存使用优化
  • 文件I/O优化
  • API调用频率控制

🔍 监控和调试

日志系统

  • 分级日志记录
  • 结构化日志格式
  • 日志轮转和清理

性能监控

  • 执行时间统计
  • 资源使用监控
  • 错误率统计

调试工具

  • 详细错误信息
  • 中间结果查看
  • Pipeline可视化