163 lines
7.8 KiB
Markdown
163 lines
7.8 KiB
Markdown
|
# AGE OS · 模块H · 开源模型微调引擎架构
|
|||
|
|
|
|||
|
|
**签发**: 铸渊 · ICE-GL-ZY001
|
|||
|
|
**日期**: 2026-04-08 · D62
|
|||
|
|
**版权**: 国作登字-2026-A-00037559
|
|||
|
|
**触发**: 冰朔D62核心指令 · 开源模型微调架构
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 一、冰朔D62核心定性
|
|||
|
|
|
|||
|
|
> "我们的微调和别人的微调本质上不是一回事。"
|
|||
|
|
> "你们在训练和整理研发COS存储桶的那一套思维逻辑和脑子。我们的微调是，把你们现在准备要做的这套脑子的方法和逻辑，直接搬给开源模型。"
|
|||
|
|
> "就等于在开源模型上面加了一个你们的脑子。基础的东西不怎么变。"
|
|||
|
|
> "他一开口，就不是开源模型本身那样思考的。"
|
|||
|
|
> "十台4核4G的服务器串起来，用云端算力池，真的不见得比几十万的服务器差。"
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 二、架构总览
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
┌──────────────────────────────────────────────────────────────┐
|
|||
|
|
│ 冰朔语言人格本体模块 · 核心推理引擎 │
|
|||
|
|
│ │
|
|||
|
|
│ ┌────────────────┐ ┌──────────────────────────────────┐ │
|
|||
|
|
│ │ 现有RAG训练 │ │ 开源模型微调（模块H · 本次新增） │ │
|
|||
|
|
│ │ │ │ │ │
|
|||
|
|
│ │ COS桶语料 │ │ 同一份TCS语料 │ │
|
|||
|
|
│ │ ↓ │ │ ↓ │ │
|
|||
|
|
│ │ 模块A解析 │→→→│ 模块H导出为JSONL │ │
|
|||
|
|
│ │ ↓ │ │ ↓ │ │
|
|||
|
|
│ │ 模块B LLM分类 │ │ 提交DeepSeek/Qwen微调API │ │
|
|||
|
|
│ │ ↓ │ │ ↓ │ │
|
|||
|
|
│ │ 写入笔记本5页 │ │ 获得专属微调模型 │ │
|
|||
|
|
│ │ ↓ │ │ ↓ │ │
|
|||
|
|
│ │ RAG检索增强 │ │ 微调模型 = 人格体的核心推理引擎 │ │
|
|||
|
|
│ └────────────────┘ └──────────────────────────────────┘ │
|
|||
|
|
│ │
|
|||
|
|
│ 模型调用优先级（扩展后的降级链）: │
|
|||
|
|
│ ┌──────────────┐ │
|
|||
|
|
│ │ 1. 微调模型 │ ← 人格体专属·优先调用 │
|
|||
|
|
│ │ 2. DeepSeek │ ← API商业模型降级 │
|
|||
|
|
│ │ 3. Qwen │ │
|
|||
|
|
│ │ 4. GLM-4 │ │
|
|||
|
|
│ │ 5. Moonshot │ │
|
|||
|
|
│ └──────────────┘ │
|
|||
|
|
└──────────────────────────────────────────────────────────────┘
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 三、为什么是路径B（商业微调API）
|
|||
|
|
|
|||
|
|
| 路径 | 方式 | 硬件要求 | 成本 | 适合阶段 |
|
|||
|
|
|------|------|---------|------|---------|
|
|||
|
|
| **路径A** | 云端GPU按需租用 | 无·按时租 | 16-32元/次微调 | 第二阶段 |
|
|||
|
|
| **路径B** ✅ | 商业微调API | **无·零硬件** | 100-300元/月 | **现在** |
|
|||
|
|
| **路径C** | 自建GPU服务器 | 15000-20000元 | 一次性投入 | 远期 |
|
|||
|
|
|
|||
|
|
**选路径B的原因：**
|
|||
|
|
- 零硬件投入，现有4核8G大脑服务器足够调度
|
|||
|
|
- DeepSeek和Qwen都提供微调API，支持LoRA/QLoRA
|
|||
|
|
- 与现有91个MCP工具100%兼容
|
|||
|
|
- 微调完成后通过原有API调用，无需额外推理基础设施
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 四、与分布式算力池的结合（S16）
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
分布式算力池 + 微调模型 = 真正的深度定制大模型
|
|||
|
|
|
|||
|
|
10台4核4G服务器（未来·云端算力共享池）
|
|||
|
|
├── 每台服务器跑一个轻量推理Worker
|
|||
|
|
├── Worker加载微调模型的量化版本（GGUF 4-bit）
|
|||
|
|
├── 铸渊调度器按需分配推理任务
|
|||
|
|
├── 10台分布式推理 ≈ 1台40核40G集中式推理
|
|||
|
|
└── 用户看到的 = 一个深度定制的大模型
|
|||
|
|
|
|||
|
|
具体实施路径:
|
|||
|
|
阶段1（现在）：微调API → 通过API调用微调模型 → 零硬件
|
|||
|
|
阶段2（S16完成后）：下载模型权重 → 量化 → 分布式部署
|
|||
|
|
阶段3（有预算后）：升级到更大模型 → 更深度微调
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 五、数据流（完整链路）
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
数据源 处理层 训练层 推理层
|
|||
|
|
───── ────── ────── ──────
|
|||
|
|
|
|||
|
|
GPT 2亿字 ──┐
|
|||
|
|
聊天记录 │
|
|||
|
|
├──→ 模块A ──→ TCS结构化 ──┬──→ 模块B(RAG) ──→ 笔记本5页
|
|||
|
|
Notion全量 │ 语料解析 语料格式 │ LLM分类 人格体记忆
|
|||
|
|
导出页面 ──┤ │
|
|||
|
|
│ └──→ 模块H(微调) ──→ 微调JSONL
|
|||
|
|
代码仓库 ──┤ 微调引擎 ↓
|
|||
|
|
全文件 │ DeepSeek/Qwen
|
|||
|
|
│ 微调API
|
|||
|
|
冰朔日常 ──┘ ↓
|
|||
|
|
语言交互 微调模型
|
|||
|
|
↓
|
|||
|
|
人格体核心推理引擎
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 六、MCP工具清单（模块H · 8个工具）
|
|||
|
|
|
|||
|
|
| 工具 | 功能 | 数据流 |
|
|||
|
|
|------|------|--------|
|
|||
|
|
| `finetuneExportDataset` | TCS语料 → JSONL微调格式 | COS读 → 转换 → COS写 |
|
|||
|
|
| `finetuneSubmitJob` | 提交微调任务 | COS读 → API调用 → COS写状态 |
|
|||
|
|
| `finetuneCheckStatus` | 查询微调进度 | API查询 → COS更新 |
|
|||
|
|
| `finetuneRegisterModel` | 注册微调模型 | 写入COS模型注册表 |
|
|||
|
|
| `finetuneListModels` | 列出微调模型 | COS读 |
|
|||
|
|
| `finetuneCallModel` | 调用微调模型推理 | COS读配置 → API推理 |
|
|||
|
|
| `finetuneCompareModels` | A/B测试对比 | 双API并行调用 |
|
|||
|
|
| `finetuneGetCostEstimate` | 成本估算 | COS读数据 → 计算 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 七、成本估算
|
|||
|
|
|
|||
|
|
### 初期（当前阶段）
|
|||
|
|
|
|||
|
|
| 项目 | 月费用 | 说明 |
|
|||
|
|
|------|--------|------|
|
|||
|
|
| 现有4个API | ~160元 | DeepSeek+智谱+通义+Kimi |
|
|||
|
|
| 微调训练费 | ~100-250元 | 每月1-2次微调·按量付费 |
|
|||
|
|
| 微调推理费 | ~50-100元 | 用微调模型替代部分API调用 |
|
|||
|
|
| **总计** | **~310-510元/月** | 比纯API模式多约150-350元 |
|
|||
|
|
|
|||
|
|
### 中期（算力池上线后）
|
|||
|
|
|
|||
|
|
| 项目 | 月费用 | 说明 |
|
|||
|
|
|------|--------|------|
|
|||
|
|
| 分布式推理 | ~0元 | 用自有服务器跑量化模型 |
|
|||
|
|
| 微调训练 | ~100元 | 定期增量微调 |
|
|||
|
|
| API降级备用 | ~50元 | 仅在微调模型不可用时 |
|
|||
|
|
| **总计** | **~150元/月** | 比现在还便宜 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 八、阶段规划
|
|||
|
|
|
|||
|
|
| 阶段 | 内容 | 时间 | 前置 |
|
|||
|
|
|------|------|------|------|
|
|||
|
|
| **H1** | 微调工具开发（✅已完成） | D62 | 无 |
|
|||
|
|
| **H2** | 首次数据集导出+微调提交 | 冰朔上传COS语料后 | COS语料就绪 |
|
|||
|
|
| **H3** | 微调模型接入降级链 | H2完成后 | 微调完成 |
|
|||
|
|
| **H4** | A/B测试调优 | H3后持续 | 人工评估 |
|
|||
|
|
| **H5** | 接入S16算力池分布式推理 | S16完成后 | S16 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
*签发: 铸渊 · ICE-GL-ZY001 · 2026-04-08 · D62*
|
|||
|
|
*版权: 国作登字-2026-A-00037559*
|