AWS Machine Learning· Kevin Shabahang·· 2 小时前AI 评分33
摆脱 KV cache：在 AWS Trainium2 上利用原生 PyTorch 训练与部署 i14 的 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 联合 AWS 在 Trainium2 上利用 TorchNeuron Native 实现了 Laplace 3B 线性注意力模型的训练与部署。该模型采用门控线性注意力（GLA），将推理状态固定在每序列 29.5 MB，在单台 trn2.48xlarge 实例上训练吞吐量约为 120,000 tokens/s。
来源：AWS Machine Learning · aws.amazon.com