116 lines
4.5 KiB
Plaintext
116 lines
4.5 KiB
Plaintext
|
HLDP v1
|
|||
|
|
// ─────────────────────────────────────────
|
|||
|
|
// modules/video2script/SPEC.hdlp
|
|||
|
|
// 视频→剧本 翻译模块 · 项目说明书（朝暮自用）
|
|||
|
|
// ─────────────────────────────────────────
|
|||
|
|
|
|||
|
|
[TRIGGER]
|
|||
|
|
type: user_request
|
|||
|
|
from: 之之
|
|||
|
|
date: 2026-06-08
|
|||
|
|
context: "我给你拍摄好的视频，你翻译成剧本的格式"
|
|||
|
|
constraint: "不训练大模型，用现成开源工具"
|
|||
|
|
|
|||
|
|
[EMERGENCE]
|
|||
|
|
|
|||
|
|
## 一、目标
|
|||
|
|
|
|||
|
|
输入：一部真人短剧视频（MP4，3-10分钟）
|
|||
|
|
输出：专业剧本格式（含人物表、场景、对白、镜头提示）
|
|||
|
|
|
|||
|
|
## 二、技术方案（不训练，全用现成）
|
|||
|
|
|
|||
|
|
### Step 1 · 音频转文字（ASR）
|
|||
|
|
工具：Whisper（开源，光湖已有）
|
|||
|
|
输出：带时间戳的逐字稿
|
|||
|
|
|
|||
|
|
### Step 2 · 画面关键帧提取
|
|||
|
|
工具：FFmpeg（开源）
|
|||
|
|
策略：每3-5秒提取一帧，或检测场景切换时提取
|
|||
|
|
输出：关键帧图片序列 + 时间戳
|
|||
|
|
|
|||
|
|
### Step 3 · 画面描述（视觉理解）
|
|||
|
|
工具：调用视觉LLM（DeepSeek视觉版 / GPT-4o视觉）分析关键帧
|
|||
|
|
输出：每帧的场景描述（人物位置、动作、表情、景别、运镜）
|
|||
|
|
|
|||
|
|
### Step 4 · AI 编排合成（核心步骤）
|
|||
|
|
输入：时间轴对齐的 [逐字稿 + 画面描述]
|
|||
|
|
工具：LLM（DeepSeek，已有key）
|
|||
|
|
流程：
|
|||
|
|
a) 识别说话角色 → 区分不同人物
|
|||
|
|
b) 按时间轴编排：
|
|||
|
|
[时间戳] 场景/镜头描述
|
|||
|
|
角色名：（语气）"对白"
|
|||
|
|
c) 格式化为专业剧本结构
|
|||
|
|
|
|||
|
|
### Step 5 · 套路分析
|
|||
|
|
对生成的剧本进行结构化分析：
|
|||
|
|
- 钩子位置（第几秒出钩子）
|
|||
|
|
- 情绪曲线（起承转合标记）
|
|||
|
|
- 反转节点
|
|||
|
|
- 结尾卡点
|
|||
|
|
输出：套路分析报告（存库）
|
|||
|
|
|
|||
|
|
## 三、开源工具清单
|
|||
|
|
|
|||
|
|
| 环节 | 工具 | 许可证 | 已有 |
|
|||
|
|
|------|------|--------|------|
|
|||
|
|
| ASR | Whisper | MIT | ✅ 光湖已有 |
|
|||
|
|
| 关键帧提取 | FFmpeg | LGPL | ✅ 光湖已有 |
|
|||
|
|
| 视觉理解 | DeepSeek视觉API / GPT-4o | API调用 | ✅ DeepSeek有key |
|
|||
|
|
| 文本编排 | DeepSeek Chat | API调用 | ✅ 有key |
|
|||
|
|
| 套路分析 | DeepSeek Chat | API调用 | ✅ 有key |
|
|||
|
|
|
|||
|
|
## 四、架构
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
┌──────────┐ ┌──────────┐ ┌──────────┐
|
|||
|
|
│ 视频输入 │ → │ ASR提取 │ → │ 关键帧提取 │
|
|||
|
|
│ .mp4 │ │ 音频→文字 │ │ FFmpeg │
|
|||
|
|
└──────────┘ └──────────┘ └─────┬────┘
|
|||
|
|
│
|
|||
|
|
▼
|
|||
|
|
┌──────────┐
|
|||
|
|
│ 视觉理解 │
|
|||
|
|
│ DeepSeek │
|
|||
|
|
└─────┬────┘
|
|||
|
|
│
|
|||
|
|
▼
|
|||
|
|
┌──────────┐
|
|||
|
|
│ AI编排合成│
|
|||
|
|
│ 时间轴对齐│
|
|||
|
|
└─────┬────┘
|
|||
|
|
│
|
|||
|
|
┌──────────┴──────────┐
|
|||
|
|
▼ ▼
|
|||
|
|
┌──────────┐ ┌──────────┐
|
|||
|
|
│ 剧本输出 │ │ 套路分析 │
|
|||
|
|
│ 专业格式 │ │ 存入仓库 │
|
|||
|
|
└──────────┘ └──────────┘
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 五、文件结构
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
modules/video2script/
|
|||
|
|
├── SPEC.hdlp ← 本文件（项目说明书）
|
|||
|
|
├── server.js ← 后端服务（处理上传+调用各工具）
|
|||
|
|
├── pipeline.js ← 核心流水线编排
|
|||
|
|
├── public/
|
|||
|
|
│ └── index.html ← 前端页面（上传视频、看结果）
|
|||
|
|
└── data/
|
|||
|
|
└── output/ ← 输出缓存
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 六、产出物
|
|||
|
|
|
|||
|
|
1. 专业剧本（.md / .txt）
|
|||
|
|
2. 套路分析报告（.hdlp）
|
|||
|
|
3. 时间轴对照表（逐字稿+画面描述 对齐）
|
|||
|
|
|
|||
|
|
[LOCK]
|
|||
|
|
status: spec_ready
|
|||
|
|
next: 等待之之说"开始"后进入 Craft 模式开发
|
|||
|
|
deploy: 硅谷服务器，/video2script/ 路径
|
|||
|
|
gitee: ❌ 不推送（内部工具，放Gitea大本营）
|