Mozilla 创新实验组 Ocho 的一个创新产品是 Llamafile，它旨在简化大模型的部署，让用户和开发者更容易访问大模型。Llamafile 支持跨平台，支持 CPU 和 GPU 执行，其最新版本 v0.8.2 合并了多个 AVX2 优化补丁。AVX2 或 Advanced Vector Extensions 2 指令集扩展已被英特尔和 AMD 的 CPU 的广泛支持，新的优化包括了更快的 AVX2 提示处理，Q5_K_M 等量化方法的速度改进达到了之前的 1.4~2.3 倍。
© 2024, 免責聲明：* 文章不代表本網立場，如有侵權，請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見，不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視，或令人反感的內容，本網有權刪除相關內容。.
