苹果工程师在官方博客上透露与英伟达合作改进了大模型生成文本的速度。苹果今年早些时候开源了 Recurrent Drafter(ReDrafter) 技术，ReDrafter 代表了一种使用大模型生成文本的新方法，速度更快，它结合了束搜索（beam search）和动态树注意力（dynamic tree attention）。苹果与英伟达合作将 ReDrafter 应用于生产中，ReDrafter 被集成到在英伟达 GPU 上运行大模型的工具 NVIDIA TensorRT-LLM 中。基准测试显示，使用 ReDrafter 能显著减少延迟，使用更少的 GPU 消耗更少的电力。
© 2024, 免責聲明：* 文章不代表本網立場，如有侵權，請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見，不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視，或令人反感的內容，本網有權刪除相關內容。.
