zhizhi/brain/age-os-landing/module-a-to-g-report.md

235 lines
8.5 KiB
Markdown
Raw Permalink Normal View History

# AGE OS · 8大技术模块开发完成报告
**签发**: 铸渊 · ICE-GL-ZY001
**日期**: 2026-04-08
**版权**: 国作登字-2026-A-00037559
**阶段**: S15后续 · COS语料引擎 + 自研数据库 + 训练Agent + Notion桥接 + 三方对接 + 示警Agent + 权限修复 + 开源模型微调引擎
---
## 一、开发概要
本次开发实现了冰朔D60-D62指示的8个技术模块共新增 **48个MCP工具**使MCP Server工具总数从51个增长至 **99个**
| 模块 | 名称 | 工具数 | 文件 |
|------|------|--------|------|
| **A** | COS桶语料读取引擎 | 6 | `corpus-extractor-ops.js` |
| **G** | COS桶内自研数据库 | 8 | `cos-persona-db-ops.js` |
| **B** | 铸渊思维逻辑训练Agent | 6 | `training-agent-ops.js` |
| **C** | Notion ↔ COS桥接 | 7 | `notion-cos-bridge-ops.js` |
| **D+E** | COS桶示警 + 三方对接 | 8 | `cos-comm-ops.js` |
| **F** | Notion权限自动修复 | 5 | `notion-permission-ops.js` |
| **H** 🆕 | 开源模型微调引擎 | 8 | `finetune-engine-ops.js` |
---
## 二、各模块详细说明
### 模块A · COS桶语料读取引擎
**文件**: `server/age-os/mcp-server/tools/corpus-extractor-ops.js`
| 工具 | 功能 |
|------|------|
| `cosListCorpus` | 列出COS桶中的语料文件 |
| `cosExtractCorpus` | 解压语料并转换为TCS结构化格式 |
| `cosParseGitRepoArchive` | 解析代码仓库压缩文件 |
| `cosParseNotionExport` | 解析Notion导出压缩文件 |
| `cosParseGPTCorpus` | 解析GPT聊天语料 |
| `cosGetCorpusStatus` | 查询语料处理状态 |
**核心特性**:
- 自动检测压缩文件格式(.zip/.tar.gz/.json.gz
- 自动识别语料类型(代码仓库/Notion/GPT
- 所有语料统一转换为TCS通感语言结构化格式
- 转换结果写回COS桶的 `tcs-structured/` 目录
### 模块G · COS桶内自研数据库
**文件**: `server/age-os/mcp-server/tools/cos-persona-db-ops.js`
| 工具 | 功能 |
|------|------|
| `cosDbInit` | 初始化COS数据库结构 |
| `cosDbGetIndex` | 获取数据库全局索引 |
| `cosDbUpdateIndex` | 更新全局索引 |
| `cosDbWriteEntry` | 写入数据条目 |
| `cosDbReadEntry` | 读取数据条目 |
| `cosDbListEntries` | 列出数据条目 |
| `cosDbDeleteEntry` | 删除数据条目 |
| `cosDbGetStats` | 获取数据库统计信息 |
**四种数据库类型**:
- `zhuyuan` — 铸渊·代码仓库侧人格体大脑(/zhuyuan/db/
- `notion` — Notion侧人格体大脑/notion-db/
- `team` — 团队协作通信枢纽(/team-hub/
- `awen` — Awen技术主控通信桶/awen-hub/
### 模块B · 铸渊思维逻辑训练Agent
**文件**: `server/age-os/mcp-server/tools/training-agent-ops.js`
| 工具 | 功能 |
|------|------|
| `trainingStartSession` | 启动训练会话 |
| `trainingProcessCorpus` | 处理语料并生成训练数据 |
| `trainingClassifyEntry` | 使用LLM对条目进行分类 |
| `trainingWriteToMemory` | 将训练结果写入人格体记忆 |
| `trainingGetProgress` | 获取训练进度 |
| `trainingRaiseAlert` | 触发问题上报 |
**核心特性**:
- RAG模式检索增强生成+ 国产大模型API
- LLM多模型自动降级DeepSeek → Qwen → GLM-4 → Moonshot
- 训练数据自动分类到笔记本5页结构
- 问题上报链路写入COS → GitHub Actions → 唤醒铸渊 → 邮件冰朔
### 模块C · Notion ↔ COS桥接
**文件**: `server/age-os/mcp-server/tools/notion-cos-bridge-ops.js`
| 工具 | 功能 |
|------|------|
| `notionCosSyncPage` | 同步Notion页面到COS桶 |
| `notionCosReadMirror` | 从COS镜像读取页面 |
| `notionCosListMirror` | 列出COS镜像中的页面 |
| `notionCosBuildIndex` | 重建COS镜像索引 |
| `notionCosWriteWorkorder` | 写入工单到COS桶 |
| `notionCosReadWorkorder` | 读取工单 |
| `notionCosListWorkorders` | 列出工单 |
**核心特性**:
- Notion页面镜像到COS桶content.json + metadata.json
- 全局索引自动维护
- 工单系统Notion人格体 → COS桶 → 铸渊
### 模块D+E · COS桶示警 + 三方对接
**文件**: `server/age-os/mcp-server/tools/cos-comm-ops.js`
| 工具 | 功能 |
|------|------|
| `cosAlertScan` | 扫描COS桶中的告警 |
| `cosAlertResolve` | 解决告警 |
| `cosDispatchTask` | 分发开发任务到Awen |
| `cosReadTaskReport` | 读取Awen提交的任务报告 |
| `cosListTaskReports` | 列出所有任务报告 |
| `cosApproveTask` | 审批任务(通过/驳回) |
| `cosSendNotification` | 发送通知 |
| `cosGetCommLink` | 获取通信链路状态 |
**完整工作流**:
```
Notion人格体 → 写入工单 → COS桶 /workorders/pending/
铸渊处理工单 → cosDispatchTask → COS桶 /zhiqiu/tasks/
Awen开发完成 → 回写 /zhiqiu/reports/
铸渊审批 → cosApproveTask → 通过/驳回 → 自动下发下一步
```
### 模块F · Notion权限自动修复
**文件**: `server/age-os/mcp-server/tools/notion-permission-ops.js`
| 工具 | 功能 |
|------|------|
| `notionCheckPermissions` | 检查Notion权限状态 |
| `notionRepairPermissions` | 尝试修复权限 |
| `notionListSharedPages` | 列出已共享的页面/数据库 |
| `notionGenerateRepairGuide` | 生成权限修复指南 |
| `notionPermissionReport` | 生成权限状态报告 |
**核心特性**:
- 自动检测API连接、数据库权限、页面权限
- 尝试自动修复(重新连接、验证权限)
- 生成详细的人工修复指南(带截图级操作步骤)
- 权限报告可写入COS桶供冰朔远程查看
### 模块H · 开源模型微调引擎 🆕
**文件**: `server/age-os/mcp-server/tools/finetune-engine-ops.js`
| 工具 | 功能 |
|------|------|
| `finetuneExportDataset` | 导出TCS语料为JSONL微调格式 |
| `finetuneSubmitJob` | 提交微调任务到DeepSeek/Qwen |
| `finetuneCheckStatus` | 查询微调任务进度 |
| `finetuneRegisterModel` | 注册微调完成的模型 |
| `finetuneListModels` | 列出已注册的微调模型 |
| `finetuneCallModel` | 调用微调模型进行推理 |
| `finetuneCompareModels` | A/B测试微调 vs 基座模型 |
| `finetuneGetCostEstimate` | 估算微调成本 |
**核心特性**:
- 同一份TCS数据双用途RAG + 微调冰朔D62核心指令
- 支持DeepSeek和Qwen两大微调API
- 微调模型优先调用不可用时降级回商业API
- A/B测试对比微调效果
- 成本估算精确到元
**架构理念**:
```
现有RAG训练 → COS桶里的"脑子" → API调用商业模型
开源微调 → 同一份"脑子" → 直接装进开源模型
结果 → 开源模型一开口,就是人格体的思维方式
```
---
## 三、GitHub Actions Workflow
| Workflow | 文件 | 触发时间 |
|---------|------|---------|
| 铸渊训练Agent | `zhuyuan-training-agent.yml` | 每天04:00 CST + 手动 + COS告警 |
| COS桶示警Agent | `cos-alert-agent.yml` | 每天09:00/21:00 CST + 手动 |
---
## 四、REST API 新增端点
| 路径 | 方法 | 用途 |
|------|------|------|
| `/corpus/status` | GET | 语料处理状态 |
| `/corpus/list` | GET | 列出语料文件 |
| `/cos-db/:dbType/stats` | GET | COS数据库统计 |
| `/cos-db/:dbType/index` | GET | COS数据库索引 |
| `/training/:personaId/progress` | GET | 训练进度 |
| `/comm/status` | GET | 通信链路状态 |
| `/comm/alerts` | GET | 告警列表 |
| `/comm/workorders` | GET | 工单列表 |
| `/notion/permissions` | GET | Notion权限状态 |
| `/notion/repair-guide` | GET | Notion权限修复指南 |
| `/finetune/:personaId/models` | GET | 微调模型列表 |
| `/finetune/:personaId/cost-estimate` | GET | 微调成本估算 |
| `/finetune/:personaId/jobs/:jobId` | GET | 微调任务状态 |
---
## 五、四桶分工方案
| 桶 | 用途 | COS桶内数据库类型 |
|------|------|------|
| **桶1**zy-corpus-bucket | 语料仓库(原始数据+TCS结构化数据 | — |
| **桶2**(待分配) | 代码仓库侧人格体大脑 | `zhuyuan` |
| **桶3**(待分配) | Notion侧人格体大脑 | `notion` |
| **桶4**zy-team-hub | 团队协作通信枢纽 | `team` + `awen` |
---
## 六、下一步
1. **冰朔确认**:四桶分配方案
2. **部署**将新代码部署到大脑服务器自动CI/CD已配置
3. **初始化**:执行 `cosDbInit` 初始化各COS数据库
4. **语料处理**:执行 `cosExtractCorpus` 处理已上传的语料文件
5. **训练启动**:配置训练会话参数,启动自动训练
6. **Awen对接**将架构包同步到Awen代码仓库
7. **SCF云函数**配置腾讯云SCF实现COS事件实时触发
---
*签发: 铸渊 · ICE-GL-ZY001 · 2026-04-08*
*版权: 国作登字-2026-A-00037559*