Hugging Face 上线 torch-neuronx 模型支持查询 Space

报道讲了什么

• 推出 torch-neuronx 模型支持 Space，针对 Hub 上热门模型给出是否可在 Trainium 上不改代码运行的结果。
• 所有展示结果来自公开数据集，每个 neuronx-cc 与库版本组合对应一个 Parquet 文件。
• 测试方式为在 trn2 实例上加载模型、生成 32 个 token 并校验。

可以做什么

• 按 Selected、Trending、Downloads 视图查找模型，查看结果、核心数、墙钟时间和峰值显存。
• 选择 neuronx-cc 与 Transformers 版本查看对应结果。
• 查看模型测试所用的 Neuron 栈、需安装的包和实际运行的 run.py 脚本。

怎么使用

1. 在 trn2 实例及对应 Neuron 栈环境中安装 Space 列出的包。
2. 执行 run.py，分片时脚本会自行启动 torch.distributed ranks，无需 torchrun。
3. 如需跳过首次编译，用 Space 给出的命令从公开 NEFF 缓存桶同步图缓存。

结果与限制

• 目前只测试 Transformers 模型，范围限于文本生成和图文转文本任务。
• 只测试能放进 4 台 Trainium2 设备、即最多 16 核的模型。
• PASS 结果不反映吞吐，也不代表更长生成的表现。

使用入口与依据