在 AMD GPU 上编译和部署大模型

今天的大模型主要用英伟达的 GPU 训练,但让英伟达一家独大对整个生态系统并不是好事。MLC(Machine learning compilation) 项目正致力于在 AMD GPU 上编译和部署大模型,实现与英伟达 GPU 相当的性能。相对于英伟达深耕了近二十年的 CUDA 软件生态系统,AMD GPU 最大问题在于软件支持,它正通过投资 ROCm 缩小与英伟达的差距。MLC 是一项新兴技术,旨在编译和自动优化机器学习工作负载。它不会为每个后端如 ROCm 或 CUDA 构造特定的内核,而是自动为不同后端生成代码。开发者称,MLC-LLM 方案在 AMD RX 7900 XTX 上的性能达到了英伟达 GeForce RTX 4090 的八成,而 7900 XTX 的价格只有 RTX 4090 的六成。

© 2023, 免責聲明:* 文章不代表本網立場,如有侵權,請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見,不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視,或令人反感的內容,本網有權刪除相關內容。.