社区讨论:楼主分享了自己的开源项目,在可用内存不足1GB的初代iPad Air和小米电视盒子上跑通了16B大模型,还放出了自研内核、修改后的模型供大家复现。不少人好奇这类小模型的实际用途,质疑它们是否足够智能能完成实用任务,还是仅作为新奇玩物。也有同方向开发者分享,自己正把模型极致压缩到970KB,效果和小型GPT-2相当,还有人已经在带GPU加速的任天堂Wii上跑通了TinyStories模型。
有人提到这类老旧硬件搭配合适软件做家用Linux服务器已经足够好用,也有人询问在旧4GB显卡上跑模型的能效是否划算。