告诉大模型“深呼吸”能大幅提升数学得分

Google DeepMind 的研究人员在预印本平台 arXiv 发表论文《Large Language Models as Optimizers》,介绍了大模型的一种优化方法:用一个大模型修饰提示,改进另一个大模型的数学能力。初步结果显示,使用“深呼吸,一步步解决问题”的提示效果最为显著,能大幅提升数学测试得分。对 Google 的 PaLM 2 大模型使用该提示,它在小学数学应用题数据集 GSM8K 中的正确率达到了 80.2%,而不使用该提示正确率只有 34%,“让我们一步步思考”提示的正确率为 71.8%。为什么会有如此惊人的变化?大模型显然不会呼吸,也不像人类那样思考和推理。它们所做的推理都源自从书籍和互联网上抓取的短语数据集。其中包括问答形式的论坛,此类论坛包含了大量“深呼吸”,“一步步思考”等短语,后面紧跟着更细致入微的推理方案。这些短语可能有助于大模型产生更好的答案。

© 2023, 免責聲明:* 文章不代表本網立場,如有侵權,請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見,不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視,或令人反感的內容,本網有權刪除相關內容。.