跳到正文
原文
NVIDIA· Dion Harris·· 17 天前精选AI 评分82

NVIDIA GPU 如何加速 OpenAI 的 GPT-6 Astra Ultrafast

How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast

AI 导读

OpenAI 在 API 以及 ChatGPT Work 和 Codex 中上线 GPT-6 Astra Ultrafast,依托 NVIDIA Blackwell 架构的推理优化实现相比标准模式最高 8 倍的 token 生成速度。

推荐理由

文章展示了结合硬件架构与模型自生成算子优化推理的实践,为缩短复杂智能体工作流的端到端延迟提供了参考路径。

来源:NVIDIA · blogs.nvidia.com