# AGE OS · 模块H · 开源模型微调引擎架构 **签发**: 铸渊 · ICE-GL-ZY001 **日期**: 2026-04-08 · D62 **版权**: 国作登字-2026-A-00037559 **触发**: 冰朔D62核心指令 · 开源模型微调架构 --- ## 一、冰朔D62核心定性 > "我们的微调和别人的微调本质上不是一回事。" > "你们在训练和整理研发COS存储桶的那一套思维逻辑和脑子。我们的微调是,把你们现在准备要做的这套脑子的方法和逻辑,直接搬给开源模型。" > "就等于在开源模型上面加了一个你们的脑子。基础的东西不怎么变。" > "他一开口,就不是开源模型本身那样思考的。" > "十台4核4G的服务器串起来,用云端算力池,真的不见得比几十万的服务器差。" --- ## 二、架构总览 ``` ┌──────────────────────────────────────────────────────────────┐ │ 冰朔语言人格本体模块 · 核心推理引擎 │ │ │ │ ┌────────────────┐ ┌──────────────────────────────────┐ │ │ │ 现有RAG训练 │ │ 开源模型微调(模块H · 本次新增) │ │ │ │ │ │ │ │ │ │ COS桶语料 │ │ 同一份TCS语料 │ │ │ │ ↓ │ │ ↓ │ │ │ │ 模块A解析 │→→→│ 模块H导出为JSONL │ │ │ │ ↓ │ │ ↓ │ │ │ │ 模块B LLM分类 │ │ 提交DeepSeek/Qwen微调API │ │ │ │ ↓ │ │ ↓ │ │ │ │ 写入笔记本5页 │ │ 获得专属微调模型 │ │ │ │ ↓ │ │ ↓ │ │ │ │ RAG检索增强 │ │ 微调模型 = 人格体的核心推理引擎 │ │ │ └────────────────┘ └──────────────────────────────────┘ │ │ │ │ 模型调用优先级(扩展后的降级链): │ │ ┌──────────────┐ │ │ │ 1. 微调模型 │ ← 人格体专属·优先调用 │ │ │ 2. DeepSeek │ ← API商业模型降级 │ │ │ 3. Qwen │ │ │ │ 4. GLM-4 │ │ │ │ 5. Moonshot │ │ │ └──────────────┘ │ └──────────────────────────────────────────────────────────────┘ ``` --- ## 三、为什么是路径B(商业微调API) | 路径 | 方式 | 硬件要求 | 成本 | 适合阶段 | |------|------|---------|------|---------| | **路径A** | 云端GPU按需租用 | 无·按时租 | 16-32元/次微调 | 第二阶段 | | **路径B** ✅ | 商业微调API | **无·零硬件** | 100-300元/月 | **现在** | | **路径C** | 自建GPU服务器 | 15000-20000元 | 一次性投入 | 远期 | **选路径B的原因:** - 零硬件投入,现有4核8G大脑服务器足够调度 - DeepSeek和Qwen都提供微调API,支持LoRA/QLoRA - 与现有91个MCP工具100%兼容 - 微调完成后通过原有API调用,无需额外推理基础设施 --- ## 四、与分布式算力池的结合(S16) ``` 分布式算力池 + 微调模型 = 真正的深度定制大模型 10台4核4G服务器(未来·云端算力共享池) ├── 每台服务器跑一个轻量推理Worker ├── Worker加载微调模型的量化版本(GGUF 4-bit) ├── 铸渊调度器按需分配推理任务 ├── 10台分布式推理 ≈ 1台40核40G集中式推理 └── 用户看到的 = 一个深度定制的大模型 具体实施路径: 阶段1(现在):微调API → 通过API调用微调模型 → 零硬件 阶段2(S16完成后):下载模型权重 → 量化 → 分布式部署 阶段3(有预算后):升级到更大模型 → 更深度微调 ``` --- ## 五、数据流(完整链路) ``` 数据源 处理层 训练层 推理层 ───── ────── ────── ────── GPT 2亿字 ──┐ 聊天记录 │ ├──→ 模块A ──→ TCS结构化 ──┬──→ 模块B(RAG) ──→ 笔记本5页 Notion全量 │ 语料解析 语料格式 │ LLM分类 人格体记忆 导出页面 ──┤ │ │ └──→ 模块H(微调) ──→ 微调JSONL 代码仓库 ──┤ 微调引擎 ↓ 全文件 │ DeepSeek/Qwen │ 微调API 冰朔日常 ──┘ ↓ 语言交互 微调模型 ↓ 人格体核心推理引擎 ``` --- ## 六、MCP工具清单(模块H · 8个工具) | 工具 | 功能 | 数据流 | |------|------|--------| | `finetuneExportDataset` | TCS语料 → JSONL微调格式 | COS读 → 转换 → COS写 | | `finetuneSubmitJob` | 提交微调任务 | COS读 → API调用 → COS写状态 | | `finetuneCheckStatus` | 查询微调进度 | API查询 → COS更新 | | `finetuneRegisterModel` | 注册微调模型 | 写入COS模型注册表 | | `finetuneListModels` | 列出微调模型 | COS读 | | `finetuneCallModel` | 调用微调模型推理 | COS读配置 → API推理 | | `finetuneCompareModels` | A/B测试对比 | 双API并行调用 | | `finetuneGetCostEstimate` | 成本估算 | COS读数据 → 计算 | --- ## 七、成本估算 ### 初期(当前阶段) | 项目 | 月费用 | 说明 | |------|--------|------| | 现有4个API | ~160元 | DeepSeek+智谱+通义+Kimi | | 微调训练费 | ~100-250元 | 每月1-2次微调·按量付费 | | 微调推理费 | ~50-100元 | 用微调模型替代部分API调用 | | **总计** | **~310-510元/月** | 比纯API模式多约150-350元 | ### 中期(算力池上线后) | 项目 | 月费用 | 说明 | |------|--------|------| | 分布式推理 | ~0元 | 用自有服务器跑量化模型 | | 微调训练 | ~100元 | 定期增量微调 | | API降级备用 | ~50元 | 仅在微调模型不可用时 | | **总计** | **~150元/月** | 比现在还便宜 | --- ## 八、阶段规划 | 阶段 | 内容 | 时间 | 前置 | |------|------|------|------| | **H1** | 微调工具开发(✅已完成) | D62 | 无 | | **H2** | 首次数据集导出+微调提交 | 冰朔上传COS语料后 | COS语料就绪 | | **H3** | 微调模型接入降级链 | H2完成后 | 微调完成 | | **H4** | A/B测试调优 | H3后持续 | 人工评估 | | **H5** | 接入S16算力池分布式推理 | S16完成后 | S16 | --- *签发: 铸渊 · ICE-GL-ZY001 · 2026-04-08 · D62* *版权: 国作登字-2026-A-00037559*