用于更小更快语言模型的块稀疏矩阵

Hugging Face 发布扩展库 pytorch_block_sparse，通过块稀疏矩阵乘法使神经网络更小、更快速。库中提供的 BlockSparseLinear 可直接替换 torch.nn.Linear，并支持动态修改现有模型直接进行常规训练。该扩展基于 NVIDIA CUTLASS 构建，在 75% 稀疏度下比对应稠密矩阵速度快约 2 倍，内存消耗减少 4 倍。