跳到正文
Hugging Face 博客·· 11 天前

TorchTPU 让 Transformers 与 Diffusers 使用原生 PyTorch TPU 后端

Hugging Face ❤️ TorchTPU: TPUs, Natively

先看结论

已有 TPU 环境的 PyTorch 用户,可以评估原生后端接入现有模型流程。

报道讲了什么

  • 官方介绍TorchTPU把TPU变为PyTorch设备,Transformers、Diffusers与Kernels可直接使用;图像/视频示例支持编译与多芯片并行。

可以做什么

  • Transformers 与 Diffusers 可把模型送到 tpu,并使用编译与多芯片路径。

怎么开始试用 · FLABS 建议

  1. 在 TPU VM 按原文安装 torch-tpu。
  2. 按示例把模型送到 tpu;分别记录首次编译和同尺寸后续请求。

结果与限制

  • 需要 TPU 环境;原文图像/视频示例使用 Cloud TPU v6e-4、四芯片、bf16、batch 1。
  • 首次同尺寸请求需要编译,后续才复用已编译图。

使用入口与依据

来源:Hugging Face 博客 · huggingface.co

事件后续

暂未关联到可公开的事件进展。后续报道核实并归组后会显示在这里。