DataFlow+ 采用模块化设计,核心思想是通过LLM驱动的智能数据处理,将原始数据提升到种子数据的质量水平。
┌─────────────────────────────────────────────────────────────┐
│ DataFlow+ 系统架构 │
├─────────────────────────────────────────────────────────────┤
│ Input: Raw Data + Seed Data → Output: High-Quality Data │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ 核心处理流程 │
├─────────────────────────────────────────────────────────────┤
│ 1. 结构化理解 → 2. Pipeline编排 → 3. 算子生成 → 4. 执行 │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ LLM增强层 │
├─────────────────────────────────────────────────────────────┤
│ • 智能理解分析 • 动态编排 • 代码生成 • 内容增强 │
└─────────────────────────────────────────────────────────────┘
core/
├── config_manager.py # 配置管理服务
├── llm_service.py # LLM服务封装
├── logger.py # 统一日志服务
└── path_manager.py # 路径管理服务
职责:
- 提供系统基础服务
- 统一配置和日志管理
- LLM API调用封装
- 文件路径管理
subsystems/
├── structured_understanding/ # 结构化理解子系统
├── pipeline_orchestration/ # Pipeline编排子系统
├── operator_generation/ # 算子生成子系统
├── operator_management/ # 算子管理子系统
├── language_management/ # 语言管理子系统
└── llm_serving/ # LLM服务子系统
目标: 分析原始数据和种子数据,生成处理蓝图
输入:
- 原始数据文件
- 种子数据文件
处理过程:
- 文件格式分析
- 质量差异分析
- 处理目标定义
- 领域特征识别
- 关键字段分析
输出:
- 结构化理解结果JSON文件
- 包含处理蓝图和字段映射
核心类:
class UnderstandingAnalyzer:
def analyze_data_differences()
def generate_processing_blueprint()
def identify_key_fields()目标: 基于理解结果,智能编排数据处理pipeline
三阶段编排:
- LLM生成高层处理意图
- 不依赖具体算子实现
- 关注数据转换方向
- 基于算子模板组合pipeline
- 使用预定义的算子能力
- 确保pipeline可执行性
- 优化和完善pipeline逻辑
- 处理边界情况和异常
- 最终确定算子序列
核心类:
class PipelineOrchestration:
def _free_fitting_stage()
def _template_combination_stage()
def _constrained_search_stage()目标: 基于编排结果,迭代生成可执行的算子代码
迭代生成机制:
- 从第一个算子开始
- 生成包含当前算子的完整可执行代码
- 运行代码获取中间结果
- 使用中间结果指导下一步生成
- 重复直到所有算子生成完成
LLM增强算子:
- 支持LLM API调用的智能算子
- 自动生成LLM调用代码
- 统一的API配置管理
核心类:
class OperatorGeneration:
def generate_operators()
class PipelineGenerator:
def generate_iterative_pipeline()
def _generate_executable_pipeline()
class PipelineExecutor:
def run_pipeline_and_get_result()
class ResultManager:
def save_step_result()
def save_final_data()目标: 运行生成的pipeline,获取最终处理结果
执行过程:
- 加载最终pipeline代码
- 执行完整的数据处理流程
- 输出高质量的处理结果
- 保存结果和日志
文件: data/operator_registry.json
结构:
{
"operators": {
"category": {
"operator_name": {
"description": "算子描述",
"input_keys": ["input1", "input2"],
"output_keys": ["output1"],
"parameters": {...},
"category": "processing",
"requires_llm": true,
"llm_task": {...},
"dependencies": []
}
}
}
}标记: requires_llm: true
LLM任务配置:
{
"llm_task": {
"system_prompt": "系统提示",
"user_prompt_template": "用户提示模板",
"expected_output_format": "json|text",
"response_fields": ["field1", "field2"]
}
}设计理念: "搭积木"式的算子组合
特点:
- 每个算子都是独立函数
- 函数间通过参数传递数据
- 支持灵活组合和重用
- 易于测试和维护
示例:
def read_jsonl_file(file_path: str) -> List[Dict]:
"""io.read_jsonl_file - 读取JSONL文件"""
# 实现逻辑
return data
def enhance_text_with_llm(text: str) -> str:
"""gen.text_generator - LLM增强文本"""
# LLM调用逻辑
return enhanced_text文件: config/config.json
配置项:
- LLM服务配置
- Pipeline参数
- 系统设置
文件: config/api_keys.json
支持提供商:
- OpenAI
- 自定义API端点
类: PathManager
功能:
- 统一管理项目路径
- 自动创建必要目录
- 支持相对和绝对路径
Raw Data (JSONL) → 结构化理解 → 处理蓝图
Seed Data (JSONL) → 质量分析 → 目标定义
处理蓝图 → Pipeline编排 → 算子序列 → 代码生成 → 执行结果
执行结果 → 格式转换 → 最终数据 (JSONL)
- 配置文件不提交到版本控制
- 支持环境变量配置
- 密钥加密存储(可选)
- 本地处理,不上传数据
- 支持数据脱敏
- 访问权限控制
- 在算子注册表中注册
- 实现算子函数
- 添加LLM支持(可选)
- 扩展文件解析器
- 更新格式检测逻辑
- 添加格式转换算子
- 扩展LLM服务类
- 添加新的API适配器
- 更新配置系统
- 支持多线程算子执行
- 批量LLM API调用
- 异步处理机制
- 中间结果缓存
- LLM响应缓存
- 算子结果缓存
- 内存使用优化
- 文件I/O优化
- API调用频率控制
- 分级日志记录
- 结构化日志格式
- 日志轮转和清理
- 执行时间统计
- 资源使用监控
- 错误率统计
- 详细错误信息
- 中间结果查看
- Pipeline可视化