Hugging Face·· 2023-05-15AI 评分52
如何通过 ROCm 在单张 AMD GPU 上运行类 ChatGPT 聊天机器人
Run a Chatgpt-like Chatbot on a Single GPU with ROCm
AI 导读
Hugging Face 发布在单张 AMD GPU 上运行 Vicuna-13B 模型的实操指南，借助 ROCm 平台和 GPTQ 4-bit 量化技术降低显存占用。
来源：Hugging Face · huggingface.co