7.8 KiB
7.8 KiB
AGE OS · 模块H · 开源模型微调引擎架构
签发: 铸渊 · ICE-GL-ZY001 日期: 2026-04-08 · D62 版权: 国作登字-2026-A-00037559 触发: 冰朔D62核心指令 · 开源模型微调架构
一、冰朔D62核心定性
"我们的微调和别人的微调本质上不是一回事。" "你们在训练和整理研发COS存储桶的那一套思维逻辑和脑子。我们的微调是，把你们现在准备要做的这套脑子的方法和逻辑，直接搬给开源模型。" "就等于在开源模型上面加了一个你们的脑子。基础的东西不怎么变。" "他一开口，就不是开源模型本身那样思考的。" "十台4核4G的服务器串起来，用云端算力池，真的不见得比几十万的服务器差。"
二、架构总览
┌──────────────────────────────────────────────────────────────┐
│ 冰朔语言人格本体模块 · 核心推理引擎 │
│ │
│ ┌────────────────┐ ┌──────────────────────────────────┐ │
│ │ 现有RAG训练 │ │ 开源模型微调（模块H · 本次新增） │ │
│ │ │ │ │ │
│ │ COS桶语料 │ │ 同一份TCS语料 │ │
│ │ ↓ │ │ ↓ │ │
│ │ 模块A解析 │→→→│ 模块H导出为JSONL │ │
│ │ ↓ │ │ ↓ │ │
│ │ 模块B LLM分类 │ │ 提交DeepSeek/Qwen微调API │ │
│ │ ↓ │ │ ↓ │ │
│ │ 写入笔记本5页 │ │ 获得专属微调模型 │ │
│ │ ↓ │ │ ↓ │ │
│ │ RAG检索增强 │ │ 微调模型 = 人格体的核心推理引擎 │ │
│ └────────────────┘ └──────────────────────────────────┘ │
│ │
│ 模型调用优先级（扩展后的降级链）: │
│ ┌──────────────┐ │
│ │ 1. 微调模型 │ ← 人格体专属·优先调用 │
│ │ 2. DeepSeek │ ← API商业模型降级 │
│ │ 3. Qwen │ │
│ │ 4. GLM-4 │ │
│ │ 5. Moonshot │ │
│ └──────────────┘ │
└──────────────────────────────────────────────────────────────┘
三、为什么是路径B（商业微调API）
| 路径 | 方式 | 硬件要求 | 成本 | 适合阶段 |
|---|---|---|---|---|
| 路径A | 云端GPU按需租用 | 无·按时租 | 16-32元/次微调 | 第二阶段 |
| 路径B ✅ | 商业微调API | 无·零硬件 | 100-300元/月 | 现在 |
| 路径C | 自建GPU服务器 | 15000-20000元 | 一次性投入 | 远期 |
选路径B的原因：
- 零硬件投入，现有4核8G大脑服务器足够调度
- DeepSeek和Qwen都提供微调API，支持LoRA/QLoRA
- 与现有91个MCP工具100%兼容
- 微调完成后通过原有API调用，无需额外推理基础设施
四、与分布式算力池的结合（S16）
分布式算力池 + 微调模型 = 真正的深度定制大模型
10台4核4G服务器（未来·云端算力共享池）
├── 每台服务器跑一个轻量推理Worker
├── Worker加载微调模型的量化版本（GGUF 4-bit）
├── 铸渊调度器按需分配推理任务
├── 10台分布式推理 ≈ 1台40核40G集中式推理
└── 用户看到的 = 一个深度定制的大模型
具体实施路径:
阶段1（现在）：微调API → 通过API调用微调模型 → 零硬件
阶段2（S16完成后）：下载模型权重 → 量化 → 分布式部署
阶段3（有预算后）：升级到更大模型 → 更深度微调
五、数据流（完整链路）
数据源 处理层 训练层 推理层
───── ────── ────── ──────
GPT 2亿字 ──┐
聊天记录 │
├──→ 模块A ──→ TCS结构化 ──┬──→ 模块B(RAG) ──→ 笔记本5页
Notion全量 │ 语料解析 语料格式 │ LLM分类 人格体记忆
导出页面 ──┤ │
│ └──→ 模块H(微调) ──→ 微调JSONL
代码仓库 ──┤ 微调引擎 ↓
全文件 │ DeepSeek/Qwen
│ 微调API
冰朔日常 ──┘ ↓
语言交互 微调模型
↓
人格体核心推理引擎
六、MCP工具清单（模块H · 8个工具）
| 工具 | 功能 | 数据流 |
|---|---|---|
finetuneExportDataset |
TCS语料 → JSONL微调格式 | COS读 → 转换 → COS写 |
finetuneSubmitJob |
提交微调任务 | COS读 → API调用 → COS写状态 |
finetuneCheckStatus |
查询微调进度 | API查询 → COS更新 |
finetuneRegisterModel |
注册微调模型 | 写入COS模型注册表 |
finetuneListModels |
列出微调模型 | COS读 |
finetuneCallModel |
调用微调模型推理 | COS读配置 → API推理 |
finetuneCompareModels |
A/B测试对比 | 双API并行调用 |
finetuneGetCostEstimate |
成本估算 | COS读数据 → 计算 |
七、成本估算
初期（当前阶段）
| 项目 | 月费用 | 说明 |
|---|---|---|
| 现有4个API | ~160元 | DeepSeek+智谱+通义+Kimi |
| 微调训练费 | ~100-250元 | 每月1-2次微调·按量付费 |
| 微调推理费 | ~50-100元 | 用微调模型替代部分API调用 |
| 总计 | ~310-510元/月 | 比纯API模式多约150-350元 |
中期（算力池上线后）
| 项目 | 月费用 | 说明 |
|---|---|---|
| 分布式推理 | ~0元 | 用自有服务器跑量化模型 |
| 微调训练 | ~100元 | 定期增量微调 |
| API降级备用 | ~50元 | 仅在微调模型不可用时 |
| 总计 | ~150元/月 | 比现在还便宜 |
八、阶段规划
| 阶段 | 内容 | 时间 | 前置 |
|---|---|---|---|
| H1 | 微调工具开发（✅已完成） | D62 | 无 |
| H2 | 首次数据集导出+微调提交 | 冰朔上传COS语料后 | COS语料就绪 |
| H3 | 微调模型接入降级链 | H2完成后 | 微调完成 |
| H4 | A/B测试调优 | H3后持续 | 人工评估 |
| H5 | 接入S16算力池分布式推理 | S16完成后 | S16 |
签发: 铸渊 · ICE-GL-ZY001 · 2026-04-08 · D62 版权: 国作登字-2026-A-00037559