Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型

Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地运行,保留 91% top-1 准确率,体积约 233GB(较 1.1TB FP8 小 80%)。图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。

Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地运行,保留 91% top-1 准确率,体积约 233GB(较 1.1TB FP8 小 80%)。图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。

信息来源:X:Unsloth (@UnslothAI)

转载请注明出处:https://www.ysthink.site/5804/
赞 (0)
的头像
上一页 2026年10月29日
下一页 2026年10月29日

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验