PyTorch 1.6即将原生支持自动混合精度训练媒体

一掠网 / 2020-07-14 16:35:26
即将在 PyTorch 1.6上发布的 torch.cuda.amp 混合精度训练模块实现了它的承诺,只需增加几行新代码就可以提高大型模型训...

PyTorch 1.6 nightly增加了一个子模块amp,支持自动混合精度训练。值得期待。来看看性能如何,相比Nvidia Apex 有哪些优势?

A developer-friendly guide to mixed precision training with PyTorch

https://spell.run/blog/mixed-precision-training-with-pytorch-Xuk7YBEAACAASJam

即将在 PyTorch 1.6上发布的 torch.cuda.amp 混合精度训练模块实现了它的承诺,只需增加几行新代码就可以提高大型模型训练50-60% 的速度。

PyTorch 1.6即将原生支持自动混合精度训练

1
联系我们