有bug!PyTorch在AMD CPU的计算机上卡死了

AMD,No?PyTorch在AMD CPU的呆板上浮现死锁了。

PyTorch 作为呆板学习中广泛利用的开源框架,具有速度快、效率高等特点。而近年来广受好评的 AMD 处理器具有多核、多任务性能良好、性价比高等优势。开发者们一直希望二者联合起来,在 AMD 处理器上利用 PyTorch 进行深度学习的开发和研究。

前段时间发布的 PyTorch 1.8 新增了对 AMD ROCm 的支持,对于想在 AMD 上用 PyTorch 进行深度学习的开发者来说,这是一个好消息。 

但是,对利用 AMD cpu 的开发者用 PyTorch 做 AI 开发,也许没那么顺利。

这不,我们就从 PyTorch 的 Github 上发现这么一个还未办理的 issue。

有bug!PyTorch在AMD CPU的计算机上卡死了

GitHub 地址:https://github.com/pytorch/pytorch/issues/52142

有开发者表示:PyTorch 在 AMD CPU 的计算机上,用数据并行单机和多 GPU 训练 CNN 会导致死锁,而相同的代码在 Intel CPU 的计算机中就不会浮现死锁。TensorFlow 也不会浮现这种成绩。

遇到了什么 bug

让我们来具体看一下这个死锁是怎么产生的?

在提交的 Issue 中,开发者表述在训练的 for 循环中,代码会一直运行,直到前向传播 output = model(images)。代码会一直停留在 model(images)阶段,而 gpu 的利用率为 0% (内存占用率不是 0),有 3 个 cpu 核的利用率达到 100%,而其他 cpu 核为 0%。利用 ctrl+c 和 ctrll+z 停止后,过程 PID 和 GPU 内存利用情况保持不变。kill 、pkill 和 fuser -k /dev/nvidia * 命令导致僵尸过程(也称为 Defunct 过程)。僵尸过程的父过程 pid 为 1,因此不能 kill 它。唯一的办理办法是重新启动系统。

代码在 3 台 Intel cpu 计算机上运行良好,但在 4 台利用 AMD cpu 的呆板上就会浮现上述成绩。开发者进一步测试了 GTX 1080、Titan V、 Titan RTX、Quadro RTX 8000 和 RTX 3090,证明该 bug 与 GPU 模型无关。

此外,该项目还提到分布式数据并行(DDP)也存在类似的成绩。

感兴趣的开发者可以按照如下配置复现一下这个 bug:

利用带有 AMD cpu 和多个 NVIDIA gpu 的呆板;

Linux、Python3.8、cuda 11.0、pytorch 1.7.1、 torchvision 0.8.2;

编写代码在 torchvision 中训练 resnet18 模型;

可以尝试测试数据并行 (DP) 和分布式数据并行(DDP),以检查是否都会浮现这种情况。

根据该项目的描述,复现之后可能会浮现:

当利用 AMD cpu 时,在训练的第一个 epoch 和第一次迭代的前向传播时会发生死锁;

当利用 intel cpu 时,相同的代码运行良好。

尚未办理

对于这次发现的 bug,有网友表示也存在相同的成绩。

有bug!PyTorch在AMD CPU的计算机上卡死了

发现该 bug 的研究者在 ImagNet、mini ImageNet、 CIFAR 10 以及其他数据集上进行了实验,由于 CIFAR 10 具有轻量级、利于调试的特点,因此开发者在 CIFAR 10 上给出了相应的代码示例:

有bug!PyTorch在AMD CPU的计算机上卡死了

此外,有开发者表示利用 TensorFlow 则不会浮现该 bug。

提交 Issue 后,PyTorch 运维团队的成员也留言参与了讨论,在被问到「测试阶段是否包含利用 AMD CPU 的用例」时,该成员表示:「在和其他队友讨论之后,我们意识到测试中没有涉及 AMD CPU 的用例,目前我们还没有办法重现这个成绩。如果今年晚些时候我们通过支持更多的硬件类型改进了测试环境,将重新讨论这个成绩。」

有bug!PyTorch在AMD CPU的计算机上卡死了

此前有网友发现了 AMD cpu 下 PyTorch 多卡并行卡死的成绩,查看日志之后找到错误原因,成绩才得以办理。而这次暴露的 bug 目前仍未办理。

参考链接:

https://github.com/pytorch/pytorch/issues/52142

https://blog.csdn.net/aakwnam6338/article/details/101270942

给TA打赏
共{{data.count}}人
人已打赏
AI

专访唐杰 | 我国首个超大智能模型「悟道」发布,迎接鉴于模型的AI云时代

2021-3-30 14:26:00

AI

每小时挪移800例货箱,波士顿能源推出商用仓储板滞人Strentch

2021-3-30 18:19:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索