24种乐器的空中乐器,只用电脑摄像头和一个HTML文件
作者用 Claude 做了一个叫 Music Maker 的空中乐器。打开网页、允许摄像头,双手捏合再拉开,一条弦就留在空中原来的位置。指尖扫过去,它就发声。
不用额外硬件。摄像头画面在浏览器里被 MediaPipe 的手部关键点模型解析,每只手 21 个点。捏合看拇指和食指指尖的距离,再按手的大小归一化,离摄像头远一点近一点都能识别。这些计算在本机完成,画面不离开电脑。
声音也当场合成。所有音色由 Web Audio API 实时生成,没有采样文件。拨弦用 Karplus-Strong,其余靠振荡器、FM 和滤波噪声搭出来,混响也是生成的。
每条弦能单独配乐器和音阶。音阶有大调、小调、五声、蓝调、Dorian、Hijaz 六种。手指跨过弦的位置决定音高,弦越长,能放下的音越多。一条弦也可以只弹和弦,不弹单音。
内置 24 种乐器:吉他、电吉他、竖琴、乌德琴、卡农琴、西塔琴、钢琴、电钢琴、管风琴、马林巴、卡林巴、钢鼓、小提琴、大提琴、弦乐、长笛、小号、人声、钟琴、合成器、贝斯、808 贝斯、鼓和手鼓。它们都用同一套手势演奏,鼓也一样。
几个小动作负责表现力。手指停在弦上,是延音;停在鼓上,是滚奏。捏住弦横向拉,能变调,松手回弹。捏住空气拖动,可以给整个混音扫滤波和回声。
一个人也能叠伴奏。六种预制节拍可以逐部分打开:底鼓、军鼓、踩镲、贝斯、和弦。循环器录下演奏并持续播放,边放边加下一层。follow chords 模式会把所有弦重新调到当前小节,怎么弹都合拍。
节拍和循环跑在与音频时钟绑定的前瞻调度器上,循环层能对齐网格。
录下来的东西可以带声音录成视频,也可以只录音频,横屏竖屏都行,存成 MP4/WebM、MP3 或 WAV。每个节拍部分、每个层还能单独导出分轨。整个舞台——弦、乐器、节拍、调、层——可以保存,一键载回,也能从预制布局起步。
循环还能导出成 WAV 或 MP3,再导进 Suno AI 换风格。这样做的版权归谁,作者没有提。
手势识别是花时间最多的部分。拨弦被定义成指尖从弦的一侧跨到另一侧,中间留一小段死区,免得追踪抖动误触发音符。手指停在弦上算按住,捏住弦算拉弦。
实际用起来仍有毛边。有评论反馈它有时过于灵敏,会误触发,径向菜单尤其明显;有时对演奏动作又不够灵敏。作者没有说明原因,也没有给出修复计划。
门槛不高,边界也清楚。需要电脑上的 Chrome 或 Edge,光线要够,手离摄像头 40 到 80 厘米。乐器是合成的,小提琴的音色骗不了人。
整个项目是一个 HTML 文件,没有构建步骤、没有后端、没有账号。托管在 GitHub Pages 上,免费。
构建约 2 小时,在一次与 Claude 的长会话里完成——描述需求、测试每个版本、把不对和缺的东西反馈回去。总计约 3100 万 token,分布在 83 次请求中;其中约 3000 万是同一上下文的缓存重读,按远低于正常费率计费。模型输出约 28.6 万 token,也就是代码、测试和回复。token 去向大致是:约 44% 用于写代码和跑测试,约 43% 用于模型每一步重读常驻指令,其余用于对话和研究。它建在作者的 Claude MAX 订阅内,没有 API 账单,也没有其他付费服务。视频导出用画布上的 MediaRecorder,MP3 在页面内编码,分轨离线渲染,比实时更快。
评论区还有几条意见。有人怀疑作者不是原创,说自己此前见过类似的视频。另一条指出长弦应该音更低——作品只说弦越长容纳的音越多,没解释音高映射规则。也有人批评把自己做的东西导进 Suno 处理。有 AI 检测工具声称这条帖子疑似 AI 生成。还有评论提到 Leon Theremin 在 106 年前就做过类似的事;另一个人问,TouchDesigner 免费、还能用 Python 写自定义模块,为什么还要做这个。
它用的是电脑上已有的摄像头,不需要另配一套传感硬件。
作者欢迎反馈,并鼓励下载代码继续做。浏览器范围只写到 Chrome 和 Edge;Safari、Firefox、平板和手机能不能用,作者没有交代;后续是否继续维护,也没有说。
关键事实
- 作者用 Claude 构建了一个叫 Music Maker 的空中乐器,在浏览器中打开、开启摄像头即可使用。
- 操作方式:双手捏合后拉开,在空中留下一条弦;指尖扫过弦即发声。
- 每条弦可分配独立乐器和音阶(大调、小调、五声、蓝调、Dorian、Hijaz);弦上交叉位置决定音高,弦越长可容纳的音越多;弦也可演奏和弦。
- 内置 24 种乐器,包括吉他、电吉他、竖琴、乌德琴、卡农琴、西塔琴、钢琴、电钢琴、管风琴、马林巴、卡林巴、钢鼓、小提琴、大提琴、弦乐、长笛、小号、人声、钟琴、合成器、贝斯、808 贝斯、鼓和手鼓;全部用同一方式演奏,鼓也一样。
- 表现力操作:手指停在弦上可延音或滚奏鼓;捏住弦横向拉动可变调,松手回弹;捏住空气拖动可对整体混音施加滤波和回声。
- 内置六种预制节拍,可逐部分开启(底鼓、军鼓、踩镲、贝斯、和弦);循环器可录制演奏并持续播放,便于叠加层次;'follow chords'模式会把所有弦重新调至当前小节,怎么弹都合拍。
- 可录制带声音的视频或纯音频,横屏或竖屏,保存为 MP4/WebM、MP3 或 WAV;每个节拍部分和每个层可导出为独立分轨。
- 可保存整个舞台设置(弦、乐器、节拍、调、层)并一键载入,也可从预制布局开始。