每日文摘
深挖 · video-use:让 Claude Code 剪视频,23k Star 背后的真相

当一家以浏览器自动化闻名的公司(browser-use,主库 11 万 star)突然开源了一个视频剪辑工具,一句 “Edit videos with coding agents” 加上一天 5000+ star 的传播曲线,值得停下来仔细看看:它到底是什么、解决什么问题、以及 23k star 的光环下有多少是真实的使用价值。README 这篇文章基于仓库源码、ElevenLabs 官网定价、HN/Reddit 社区一手讨论的交叉调研,既讲它漂亮的架构,也讲它没写在 README 里的争议与短板。
是什么
video-use 不是又一个剪辑 App,而是装给 coding agent(Claude Code、Codex 等)的技能包:一个 23KB 的 SKILL.md 作业规程加 6 个 Python 辅助脚本,底层靠 ffmpeg 干活。install.md 使用方式是把原始素材放进文件夹,对 agent 说一句 “edit these into a launch video”,产出是 edit/final.mp4——中间没有时间轴、没有菜单,全程对话。
它的完整流水线是 Transcribe → Pack → LLM Reasons → EDL → Render → Self-Eval,渲染后自检,发现问题修复重渲,最多 3 轮。README
但先泼一盆冷水:它实际是「转录驱动的口播粗剪自动化器」,而不是通用剪辑器。社区最务实的评价来自一位真实用户——“顶多做粗剪或剪辑助理”,去口癖、去静音、talking-head 素材成片是它的舒适区;混剪、vlog 这类视觉驱动的内容,机制上就先天受限(下文展开)。r/ClaudeAI
核心机制:LLM 不看视频,它「读」视频
两层阅读架构
整个项目最有价值的思想在这一句:"The LLM never watches the video. It reads it." README
朴素做法是把视频帧喂给多模态模型:30,000 帧 × 每帧约 1,500 token = 4,500 万 token 的噪声。video-use 的替代方案分两层:
- Layer 1(常驻上下文):每个源视频调一次 ElevenLabs Scribe 词级转录(保留语气词、说话人分离、笑声掌声等音频事件),再压缩成一个约 12KB 的
takes_packed.md——1 小时素材只占原始转录 JSON 十分之一的 token。pack_transcripts.py - Layer 2(按需下钻):只在决策点(对比重拍、确认切点)生成一张「胶片条 + 波形 + 词标签」的合成 PNG,文档明确警告这不是扫描工具。SKILL.md
这和 browser-use 用结构化 DOM 替代截图是同一套哲学——官方自己的类比:“Same idea as browser-use giving an LLM a structured DOM instead of a screenshot — but for video.” 不过要注明:45M token 对比是 README 的自述论证,没有第三方 benchmark。README
EDL:决策与渲染解耦
LLM 的全部产出收敛为一个声明式的 edl.json:素材路径、每个切段(带 beat 结构标签、quote 台词、reason 选择理由)、调色、overlay 时序、字幕。渲染器 render.py 是确定性执行器,从不即兴发挥。SKILL.md
这个设计带来三个直接好处:决策可 diff(每次剪辑改了什么一目了然)、可版本化(EDL 进 git)、可无 LLM 重渲(改个参数重新渲染不用再花钱问模型)。LLM 智能和 ffmpeg 确定性在文件系统层面物理隔离。
12 条硬规则:踩坑经验的文档化
SKILL.md 里最实在的部分是 12 条不可协商的硬规则,每条背后都是一个真实的坑:每个切点 30ms 音频淡入淡出防爆音;切边两侧 pad 30-200ms 吸收 ASR 时间戳漂移(漂移会吃掉词头词尾);永不切在词中间;字幕必须在滤镜链最后施加否则被 overlay 挡住;只用词级 verbatim 转录、禁止 normalize 语气词——因为 “um/uh” 和停顿正是剪辑决策的信号。SKILL.md
配套的自评环:渲染完成后对渲染产物(不是源片)的每个切边 ±1.5s 生成 timeline 视图,检查视觉跳变、爆音、字幕被遮,通过才给用户看。SKILL.md
怎么跑起来
安装五步:clone → symlink 到 ~/.claude/skills/ → uv sync → brew install ffmpeg → .env 填 ElevenLabs API key。无 GPU 要求,全链路 CPU ffmpeg + 云端 API。install.md macOS 是第一公民,Linux 官方支持,Windows 基本不可用——16 个以上兼容性 PR 堆积未合并。
唯一的付费依赖是 ElevenLabs Scribe 转录:$0.22/小时素材,免费档每月只有 12 分钟。ElevenLabs 一次典型剪辑(1 小时素材)总成本约等于转录 $0.22 加 LLM 费用 $1-4(若已在 Claude 订阅内,LLM 边际成本约等于零)——比 OpusClip $15-29/月或 Descript $24-35/月的订阅制便宜一个量级。OpusClip
想省钱换本地转录?社区提交了 9 个免费/本地转录后端的 PR,全部未合并。维护者的拒绝理由值得原文引用:编辑管线重度依赖转录保真度——语气词 verbatim 保留、精确词边界、词间停顿,“local Whisper is not good enough for the editing pipeline we are building”。PR #12
macOS 用户装前先自检一个坑:Homebrew 的 ffmpeg 默认不含 libass,烧字幕功能会直接崩(issue #118,修复至今未合并进主干),跑一下 ffmpeg -filters | grep subtitles 确认。Issue #118
数据说话:23k Star 的成色
这个仓库的 star 数和它的真实社区热度之间存在严重背离,有几组对照数据:
- star 造假指控无人回应:issue #74(2026 年 6 月,中文)指控 star 账号「集中 12 天内创建、无头像、无仓库」,要求官方回应,至今零回应。本调研无法证实或证伪指控本身,但旁证信号方向一致:HN 全站仅一个帖子、3 分 0 评论;专业剪辑社区(r/videography)零讨论;issue 区垃圾帖泛滥无人清理;57 个 open PR 基本不合并。Issue #74、HN 48987867
- 可查证的真实用户案例只有一个:r/ClaudeAI 用户 gouterz 用 OBS + Claude Code + video-use,10 分钟从录制到 YouTube 上传——但他需要自己动手把 ElevenLabs 换成本地 Whisper,口吃清除还要手动多跑一遍,并非开箱即用。r/ClaudeAI
- 宣称与机制的矛盾:README 说 “Works for any content”,但同一页面的机制设计是 LLM 不看帧、音频驱动剪辑——这两者不能同时成立。社区也有直接质疑:“Claude Code cannot watch a video. It reads…"README vs r/ClaudeAI 评论区
- 零定量评测:没有任何 video-use vs Opus Clip vs 人工剪辑的成片质量对比数据,全部是定性证言。
对照仓库本身的工程投入:21 个 commit、8 位贡献者、205 行 mock 单测、无 CI——一个早期实验项目撑起六个月 23k star 的增长曲线。GitHub API
所以结论要两面说:架构思想是真金,star 成色存疑。引用这个项目时,别用 star 数做背书。
值不值得跟:三个问题的答案
回到点题的三个问题,基于以上证据给出判断:
1. 它解决了什么问题? AI 剪辑的真正瓶颈不是「生成能力」而是上下文经济性——视频是多模态信息黑洞。video-use 证明了「文本优先 + 按需视觉」能把剪辑推理的 token 成本从千万级压到千级,这是它最扎实的贡献。
2. 没有它怎么达成目的? 关键分野在「从文案生成视频」和「剪辑已有素材」。如果你的场景是前者(比如新闻稿自动变口播短视频),开源的 MoneyPrinterTurbo(119k star,脚本→配音→素材→字幕一站式)才是主干工具;如果是后者且不想碰代码,OpusClip/Descript 这类 SaaS 更省事。video-use 的真实生态位是两者的交集:会 Claude Code、有口播素材、愿意自己修 bug。MoneyPrinterTurbo
3. 如何叠加 AI 视频前后端? EDL 就是扩展插槽:AI 生成的 B-roll(Veo/sora-2/Runway 产物)写进 overlays[] 零改动即用;TTS 配音和背景音乐是当前最大空白(渲染只映射源音轨),自然插入点是响度标准化钩子前加混音;转录后端想换本地模型,接口面其实很窄——只需产出同 schema 的 words[] JSON。render.py
而它最值得带走的东西甚至不是代码:那 12 条硬规则(词级切点、30ms 淡变、-14 LUFS 响度、字幕安全区)是一份现成的社交视频成片质量清单,以及「LLM 决策 JSON + 确定性渲染器」这个模式本身——这两样无论你用什么工具栈都成立。SKILL.md
至于要不要押注它长期演进:README 顶部在为 Browser Use Cloud 导流,但官方 37 篇博文无一提及这个项目,也没有公开 roadmap——更像品牌扩张试验。深度定制前,请做好自己维护 fork 的心理准备。browser-use.com/posts
参考阅读
- video-use README — 官方定位、两层架构、token 成本论证的第一手来源
- video-use SKILL.md — 12 条硬规则/反模式/8 步流程全文本,工程哲学真源
- Issue #74 star 造假指控 — 未证实但引用 star 数前必读的争议
- PR #12 维护者拒绝本地 Whisper — 转录保真度对剪辑质量的影响,替代后端的官方立场
- r/ClaudeAI gouterz 实战帖 — 唯一可查证真实用户案例及其动手改造成本
- MoneyPrinterTurbo — 生成式路线的开源代表,文案起头场景的对口主干
- Remotion — 程序化视频渲染生态,coding-agent 友好
- ElevenLabs API Pricing — Scribe $0.22/h 计费与免费额度口径