Deepgram 如何借助 AWS Trainium 规模化优化语音 AI

Deepgram 与 AWS 合作将 Nova-3 语音转文本模型迁移至 AWS Trainium2 芯片，在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。在离线批量推理场景中，该方案每美元处理音频量比原有算力方案提升了 11%–70%。团队通过 Neuron 编译、NKI 自定义内核调优及 Rust 运行时，显著提升了吞吐量并降低成本。