Rakkeb 把宜家纸质说明书变成带语音的 3D 动画教程
开发者 Joe Venner 是宜家的忠实用户,喜欢自己动手组装家具,但他觉得宜家的纸质说明书体验很差:全是无文字的图示、动辄 30 个步骤,总有一颗螺丝你不确定该装在哪里。两周前他开始思考,能不能用 AI 改造说明书,于是做出了独立项目 Rakkeb(阿拉伯语意为“组装它”)。
Rakkeb 的第一个功能是把纸质说明书转成 3D 动画。它的引擎会把官方说明书里的每一张图示,转成带动画的 3D 组装步骤,还原真实工具、真实操作动作、阴影效果,还会精准标记出螺丝孔的位置。AI 流水线会逐页读取说明书,把每一步写入引擎,目前已经支持 22 个零件的组装流程。
传统说明书没法看到你手里的零件,Rakkeb 补上了这个能力。它全程陪在你的组装过程里,能看到你眼前的画面,还能开口回答你的问题,相当于一个随时在线的组装技术员。
组装一套家具通常要一两个小时,如果全程把音视频流传到云端模型,token 消耗会非常快。Rakkeb 的设计原则是:手机能免费完成的工作全部在端侧处理,只有遇到真正的问题时才调用云端能力。
语音识别完全在手机端运行,用的是苹果的端侧语音识别,全程不需要上传音频。本地会先判断你是在跟 Rakkeb 说话,还是在跟房间里的其他人说话,避免误触发。
摄像头不会持续上传画面,只有你主动提问时,才会把一帧画面连同你的问题一起发给 Meta 的 Muse Spark 模型,单次提问大约消耗 1k token。
定位零件时,Meta 的 SAM 3.1 会先框出你指的那个零件,之后苹果的 Vision 框架会在你移动手机时,持续把这个轮廓锁定在对应零件上,全程不消耗云端 token。这样就能做到长时间通话、低 token 消耗。
演示视频里的所有内容都是真实的:用 iPhone 13 拍摄,应用运行在 iPhone 17 上,Joe 在自己的阳台组装一张 LACK 边桌。应用很快就会开放使用权限,想要完整代码的用户可以在评论区留言“code”,他会把代码发给你。他同时@了宜家阿联酋、宜家美国、宜家沙特的官方账号,询问对方的看法。这个项目是独立开发的,和宜家没有官方合作关系。