大模型如 LLaMA 通常需要高端 GPU 才能流畅运行。Mozilla 支持的 llamafile 项目旨在本地运行大模型。开发者刚刚为 llamafile 编写了 84 个新的矩阵乘法内核，显著改进了 CPU 运行性能，让普通 CPU 流畅运行大模型成为可能。ARMv8.2+（如 Raspberry Pi 5） 、英特尔 CPU 以及支持 AVX512 指令集的 AMD Zen 4 CPU 上的运行速度增幅最为突出。
© 2024, 免責聲明：* 文章不代表本網立場，如有侵權，請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見，不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視，或令人反感的內容，本網有權刪除相關內容。.
