官方提供的bert是使用tpu集群训练的代码，他可以兼容单核GPU、多核CPU，如果你的机器有多个GPU，直接运行python run_pretraining.py，发现只能利用一个GPU。其实git上已经有人提供了多GPU版本，亲证是可行的，只需要将他的run_pretraining_gpu.py替换run_pretraining.py、optimization_gpu.py替换optimization.py即可，然后将modeling.py大概344行：assignment_map[name] = name修改assignment_map[name] = name_to_variable[name]就可以了。