AI Pulse

24种乐器的空中乐器,只用电脑摄像头和一个HTML文件

作者用 Claude 做了一个叫 Music Maker 的空中乐器。打开网页、允许摄像头,双手捏合再拉开,一条弦就留在空中原来的位置。指尖扫过去,它就发声。

不用额外硬件。摄像头画面在浏览器里被 MediaPipe 的手部关键点模型解析,每只手 21 个点。捏合看拇指和食指指尖的距离,再按手的大小归一化,离摄像头远一点近一点都能识别。这些计算在本机完成,画面不离开电脑。

声音也当场合成。所有音色由 Web Audio API 实时生成,没有采样文件。拨弦用 Karplus-Strong,其余靠振荡器、FM 和滤波噪声搭出来,混响也是生成的。

每条弦能单独配乐器和音阶。音阶有大调、小调、五声、蓝调、Dorian、Hijaz 六种。手指跨过弦的位置决定音高,弦越长,能放下的音越多。一条弦也可以只弹和弦,不弹单音。

内置 24 种乐器:吉他、电吉他、竖琴、乌德琴、卡农琴、西塔琴、钢琴、电钢琴、管风琴、马林巴、卡林巴、钢鼓、小提琴、大提琴、弦乐、长笛、小号、人声、钟琴、合成器、贝斯、808 贝斯、鼓和手鼓。它们都用同一套手势演奏,鼓也一样。

几个小动作负责表现力。手指停在弦上,是延音;停在鼓上,是滚奏。捏住弦横向拉,能变调,松手回弹。捏住空气拖动,可以给整个混音扫滤波和回声。

一个人也能叠伴奏。六种预制节拍可以逐部分打开:底鼓、军鼓、踩镲、贝斯、和弦。循环器录下演奏并持续播放,边放边加下一层。follow chords 模式会把所有弦重新调到当前小节,怎么弹都合拍。

节拍和循环跑在与音频时钟绑定的前瞻调度器上,循环层能对齐网格。

录下来的东西可以带声音录成视频,也可以只录音频,横屏竖屏都行,存成 MP4/WebM、MP3 或 WAV。每个节拍部分、每个层还能单独导出分轨。整个舞台——弦、乐器、节拍、调、层——可以保存,一键载回,也能从预制布局起步。

循环还能导出成 WAV 或 MP3,再导进 Suno AI 换风格。这样做的版权归谁,作者没有提。

手势识别是花时间最多的部分。拨弦被定义成指尖从弦的一侧跨到另一侧,中间留一小段死区,免得追踪抖动误触发音符。手指停在弦上算按住,捏住弦算拉弦。

实际用起来仍有毛边。有评论反馈它有时过于灵敏,会误触发,径向菜单尤其明显;有时对演奏动作又不够灵敏。作者没有说明原因,也没有给出修复计划。

门槛不高,边界也清楚。需要电脑上的 Chrome 或 Edge,光线要够,手离摄像头 40 到 80 厘米。乐器是合成的,小提琴的音色骗不了人。

整个项目是一个 HTML 文件,没有构建步骤、没有后端、没有账号。托管在 GitHub Pages 上,免费。

构建约 2 小时,在一次与 Claude 的长会话里完成——描述需求、测试每个版本、把不对和缺的东西反馈回去。总计约 3100 万 token,分布在 83 次请求中;其中约 3000 万是同一上下文的缓存重读,按远低于正常费率计费。模型输出约 28.6 万 token,也就是代码、测试和回复。token 去向大致是:约 44% 用于写代码和跑测试,约 43% 用于模型每一步重读常驻指令,其余用于对话和研究。它建在作者的 Claude MAX 订阅内,没有 API 账单,也没有其他付费服务。视频导出用画布上的 MediaRecorder,MP3 在页面内编码,分轨离线渲染,比实时更快。

评论区还有几条意见。有人怀疑作者不是原创,说自己此前见过类似的视频。另一条指出长弦应该音更低——作品只说弦越长容纳的音越多,没解释音高映射规则。也有人批评把自己做的东西导进 Suno 处理。有 AI 检测工具声称这条帖子疑似 AI 生成。还有评论提到 Leon Theremin 在 106 年前就做过类似的事;另一个人问,TouchDesigner 免费、还能用 Python 写自定义模块,为什么还要做这个。

它用的是电脑上已有的摄像头,不需要另配一套传感硬件。

作者欢迎反馈,并鼓励下载代码继续做。浏览器范围只写到 Chrome 和 Edge;Safari、Firefox、平板和手机能不能用,作者没有交代;后续是否继续维护,也没有说。

关键事实

阅读原文
📚 相关主题 开源音乐

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新