copilot-swe-agent[bot]
|
ba4c233509
|
fix: COS训练Agent大文件崩溃 — 添加Buffer安全处理、HEAD预检、分块提取策略
修复两个训练失败根因:
1. conversations.json (665MB) 超过Node.js字符串限制导致ERR_STRING_TOO_LONG崩溃
2. 单文件崩溃导致整个训练管线中断，后续文件无法处理
- cos.js: 添加readBuffer/head/readPartial方法，cosRequest增加try/catch防止未捕获异常
- corpus-extractor-ops.js: 超大文件(>200MB)采用分块采样策略，ZIP文件提前检测避免无效读取
- cos-training-trigger.js: 增加文件大小预警日志，分类计数(成功/跳过/失败)
Agent-Logs-Url: https://github.com/qinfendebingshuo/guanghulab/sessions/f10f1b02-ed4e-4ee8-ac27-0580c1cf8a7e
Co-authored-by: qinfendebingshuo <207279273+qinfendebingshuo@users.noreply.github.com>
|
2026-04-11 00:55:39 +00:00 |