云原生部署工具 Alexon 发布

Nala Ginrut 写道:最近SymeCloud Limited(syme.dev) 发布了基于云原生的便捷部署工具 Alexon (alexon.dev),开发语言为 Scheme。SymeCloud 主要致力于 AI-Infra 方面的研发,目前从 OpenAI 泄露出的技术架构来看,基于大语言模型的推理产品的一部分主要工程难度在于部署。产品级 LLM 并不是简单地跑个单节点,而是有复杂的架构划分与数据流优化组合,这使得原本就复杂的云原生体系在LLM领域将面对更加高复杂度的挑战。Alexon 的目标就是利用函数式编程的特性和模板系统为LLM推理系统的快速试错和部署尽可能降低复杂度,为后续的系统研究铺平道路。Alexon 采用 GPLv3+ 授权,目前还处于早期阶段,欢迎测试把玩和提交 patch。

© 2023, 免責聲明:* 文章不代表本網立場,如有侵權,請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見,不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視,或令人反感的內容,本網有權刪除相關內容。.