TorchNeuron 性能剖析（上）：在 AWS Trainium 上做系统级性能分析

报道讲了什么

• 系列第一部分介绍如何配置 torch.profiler 与 Neuron 后端并采集干净轨迹。
• 教程以 RMSNorm 为例，对比三种实现的性能信号差异。

可以做什么

• 通过 key_averages() 表识别消耗 Neuron 设备时间的算子并比较 Self CPU 时间。
• 用 Neuron Explorer 追踪单个算子从框架调度、运行时调度到 NeuronCore 硬件执行。
• NeuronConfig 可选择要采集的数据流与 NeuronCore，并把设备时间关联进 key_averages() 表。

怎么使用

1. 用 NeuronConfig 指定采集模式与输出目录，并作为 experimental_config 传入 torch.profiler.profile。
2. 在 profiler 循环内调用 torch.neuron.synchronize()，避免设备未完成就导出导致 Neuron 时间列为空。
3. 在 Neuron Explorer 中上传完整输出目录；仅设备剖析时单独上传配对的 .neff 与 .ntff 文件。

结果与限制

• 教程面向无性能剖析经验的读者，仅覆盖推理性能分析，未涉及训练场景。
• 三种 RMSNorm 实现使用相同输入、剖析配置与调度，结果才可直接比较。

使用入口与依据