TorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析
Hugging Face 博客发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 配合 NeuronConfig 与 NeuronProfiler 采集干净的性能轨迹,并通过 key_averages() 表定位消耗 Neuron 设备时间的算子。教程以 RMSNorm 为例。
Hugging Face 博客发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 配合 NeuronConfig 与 NeuronProfiler 采集干净的性能轨迹,并通过 key_averages() 表定位消耗 Neuron 设备时间的算子。教程以 RMSNorm 为例。
Dharma-AI 在 Hugging Face 博客预览即将发布的 VocabX 论文,提出按 token 成本而非词频重建小语言模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上实测推理成本下降 77.0%,平均响应从 350 token 降到 101 token。方法同时重建子词切分并把重复长片段合并为宏 token,输出层从约 152,000 行减到约 65。