介绍
Soundspeed 是一个给电影现场录音用的智能 Agent。它对演员表演的对话做语音识别,并标注每句话是谁说的。识别结果交给本地运行的 Gemma 4 E4B Agent 做预处理和整理,写入场记单。录音师、导演和场记可以在现场快速查找。 全流程在本地处理,也保证拍摄现场的信息安全。
做法
在片场,场记和录音组要在纸上记场次、镜次、条次,也要记演员临时改词和导演口头交代的备注;一场戏拍几十条很常见,有时要拍到上百条,手写记录常常跟不上,也会漏掉细节。剧本和录音都属于保密的拍摄资料,发到云端服务处理有泄露风险。 全套流程运行在一台离线的 M4 Mac mini 上。通过 Fun-ASR 或 Whisper 模型逐字转写录音,并标注说话对象。剧本理解与演员对话内容处理部分则交给一个运行在 Gemma 4 E4B 上的 Agent:把实录和剧本逐行对照,标出漏说的内容或修改过的台词。 同时录音师可以通过语音输入,把现场的口头或文字备注记录到对应的拍摄条数。Agent 也能分析拍下来的剧本照片,回答现场情况等问题。收工后直接导出场记单。 项目由我主导,和一位队友合作完成,参加了 GDG 上海的 Gemma 4 开发者大赛。
1 / 1
数据
200ms
语音转文字
1秒
Agent 响应
架构
Gemma 4 E4Bllama.cppFun-ASRwhisper.cpppyannote.audioFastAPISQLiteReact
相关项目
- + 加一个相关项目