在运行maskrcnn时,会碰到训练不动的问题,就卡在这儿
UserWarning: Converting sparse IndexedSlices to a dense Tensor of unknown shape. This may consume a large amount of memory. "Converting sparse IndexedSlices to a dense Tensor of unknown shape. " Epoch 1/10 image_id 31
然后根据一些博主建议,用最新的mrcnn代码代码试了试,这回会报错了
Failed to get device properties, error code: 30
然后用nvidia-smi在cmd试了试,果然GPU又挂了,之前就一直出现GPU训练一次后会挂掉,必须重启电脑才行
Unable to determine the device handle for GPU 0000:01:00.0: GPU is lost.
查询一些博客才知道可能是CUDA版本和驱动问题,我觉得我CUDA应该没问题,用的9.2版本,那就改驱动吧
把驱动更新退回上一次更新的版本就可以正常运行了,这么一个小问题花了三天时间,都是泪啊,主要是碰到这个问题的人太少了。退回后我的显卡驱动版本是398.27