阿里巴巴在今年四月宣布了它的大语言模型通义千问(Tongyi Qianwen 或简写 Qwen)。现在它宣布开源有 70 亿参数的 Qwen-7B 系列模型,源代码托管在 GitHub 上,采用被称为 Tongyi Qianwen LICENSE AGREEMENT 的许可证,有限制条件,如果商业使用,月活用户数超过 1 亿,则需要从阿里巴巴获得授权。这一条件与 Meta 对其 LLaMA 2 大模型的限制类似。阿里巴巴称,Qwen-7B是基于 Transformer 的大语言模型, 在 2.2 万亿 token 的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。相比同规模的开源模型,Qwen-7B 在多个评测数据集上具有显著优势,甚至超出 12-13B 等更大规模的模型。评测评估的能力范围包括自然语言理解与生成、数学运算解题、代码生成等。
© 2023, 免責聲明:* 文章不代表本網立場,如有侵權,請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見,不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視,或令人反感的內容,本網有權刪除相關內容。.