Hugging Face·· 12 小时前精选AI 评分71
PyTorch 2.15 升级 Mac MPS 后端:支持 FP8、MoE 解码加速并大幅降低显存占用
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 对 Apple Silicon 的 MPS 后端进行了深度优化,新增 FP8 支持并将大量算子从 MPSGraph 迁移至原生 Metal 内核。
推荐理由
原文详细列出了算子迁移至原生内核后的吞吐与显存数据,读者可以据此评估在苹果设备上本地运行大模型的可行性。
来源:Hugging Face · huggingface.co