研究显示大模型在无损压缩上能超过 PNG 和 FLAC

Google DeepMind 和 Meta 的研究人员在预印本平台 arXiv 上发表论文《Language Modeling Is Compression》,他们发现 DeepMind 的大语言模型 Chinchilla 70B 在图像和音频的无损压缩上超过了 PNG 和 FLAC。Chinchilla 70B 能将 ImageNet 图像数据库无损压缩到原始大小 43.4%,超过了 PNG 算法的 58.5%。Chinchilla 能将 LibriSpeech 音频数据集中的样本无损压缩到原始大小 16.4%,超过 FLAC 算法的 30.3%。Chinchilla 70B 主要是训练去处理文本,但它在压缩其它类型的数据集上的效果也表现优异,甚至优于专门的算法。

© 2023, 免責聲明:* 文章不代表本網立場,如有侵權,請盡快聯繫我們 info@uscommercenews.com * 讀者評論僅代表其個人意見,不代表本網立場。評論不可涉及非法、粗俗、猥褻、歧視,或令人反感的內容,本網有權刪除相關內容。.