Mistral Large 4（Le Chonk）在 Hugging Face 发布

报道讲了什么

• Mistral 发布多模态 MoE 模型 Mistral Large 4，总参数约 1T、激活 49B，上下文 1M tokens。
• 模型以 FP8 与 NVFP4 两种官方变体发布，另有 Unsloth 和 llama.cpp 团队制作的 GGUF。
• 采用 Mistral Ecosystem Open-Weight License，对模型即服务用途设有限制。

可以做什么

• 在 Artificial Analysis Cyber Index 的漏洞复现与修补测试中得分 82%。
• Cybench 安全竞赛题集中解决 93% 的 40 道题。
• Coding Agent Index 综合得分 49.8%，高于 DeepSeek V4 Pro 0813 与 Qwen3.8 Max。

怎么使用

1. 升级 transformers 后可用 AutoModelForMultimodalLM 加载模型，并以 torchrun 启动脚本。
2. vLLM 可用 NVFP4 检查点启动服务，需 NVIDIA Blackwell GPU 与张量并行参数。
3. llama.cpp 可安装 Llama App 后按量化后缀启动服务，并在 WebUI 中对话。

结果与限制

• 2-bit 量化可在单台 512GB 统一内存的 Apple Silicon Ultra 上运行，其余量化需分布式推理。
• IQ2_XXS 在长上下文下性能明显下降，生成速度从 30 tok/s 降至 3 tok/s。
• 推理无法关闭，设置 reasoning_effort 为 none 仍会使用 high。

使用入口与依据