Hugging Face 博客·· 11 天前
TorchTPU 让 Transformers 与 Diffusers 使用原生 PyTorch TPU 后端
Hugging Face ❤️ TorchTPU: TPUs, Natively
先看结论
已有 TPU 环境的 PyTorch 用户,可以评估原生后端接入现有模型流程。
报道讲了什么
- 官方介绍TorchTPU把TPU变为PyTorch设备,Transformers、Diffusers与Kernels可直接使用;图像/视频示例支持编译与多芯片并行。
可以做什么
- Transformers 与 Diffusers 可把模型送到 tpu,并使用编译与多芯片路径。
怎么开始试用 · FLABS 建议
- 在 TPU VM 按原文安装 torch-tpu。
- 按示例把模型送到 tpu;分别记录首次编译和同尺寸后续请求。
结果与限制
- 需要 TPU 环境;原文图像/视频示例使用 Cloud TPU v6e-4、四芯片、bf16、batch 1。
- 首次同尺寸请求需要编译,后续才复用已编译图。
使用入口与依据
来源:Hugging Face 博客 · huggingface.co
事件后续
暂未关联到可公开的事件进展。后续报道核实并归组后会显示在这里。