如何在 PyTorch 中利用 Apple Silicon 的神经网络引擎 (NPU)？

如何在 pytorch 中利用 apple silicon 的神经网络引擎 (npu)

apple silicon 拥有 cpu、gpu 和 npu 这 3 种处理器。根据官方文档，pytorch 中的 mps 后端可以利用 apple silicon 中的 gpu，但无法直接访问 npu。

为什么 mps 无法访问 npu

npu 通常用于推理任务，而不是训练任务。推理是指使用训练好的模型对新数据进行预测。而训练是指创建和微调模型以提高其准确性。

如何使用 mps

要使用 mps 后端，可以在 pytorch 中将设备指定为 "mps"：

import torchdevice = torch.device('mps')

使用 mps 后端可以加速 pytorch 操作，因为它直接访问 apple silicon gpu 的硬件特性。

如何使用 npu

苹果目前尚未开放 npu 编程。如果你需要在 apple silicon 上进行推理任务，可以使用 coreml 框架，它可以自动利用 npu。

总结