微软TRELLIS.2图像转3D模型,现在能在M系列Mac上原生运行
TRELLIS.2是微软研究院推出的图像到3D生成模型,原本只能在NVIDIA GPU上运行。这个GitHub项目把它完整移植到了Apple Silicon平台,靠的是PyTorch的MPS后端,不再依赖CUDA。 这意味着:Mac用户第一次能不加外设、不跑虚拟机,在本地直接运行当前最先进的开源图像转3D模型。
它在M4 Pro上处理一张图,生成含85.8万个三角面、42.4万个顶点的网格模型,耗时约3.5分钟。输出OBJ和GLB文件,带PBR材质基础结构,可直接导入Blender、Unity等工具。 这意味着:设计师、独立开发者或3D爱好者,现在用一台MacBook Pro就能完成过去需要高端工作站+专业显卡的建模起点工作。
移植不是简单换设备名——项目替换了全部CUDA专属组件:用纯Python字典重写哈希网格提取,用PyTorch SDPA替代FlashAttention,用自研稀疏卷积实现(基于gather-scatter)替代flex_gemm。 这意味着:这不是套壳封装,而是一次对底层计算范式的重适配,让苹果芯片真正‘看懂’了3D生成的稀疏计算逻辑。
但它也有明确边界:纹理烘焙缺失(因nvdiffrast无MPS版),网格可能有小孔(cumesh未实现),速度比CUDA慢约10倍,且仅支持推理。 这意味着:它不是替代方案,而是‘可用路径’——把原来完全不可及的能力,拉进普通开发者的日常硬件范围。
这条路能不能走通,取决于工具本身够不够用。但至少,它把‘要不要试’这件事,变简单了。