深度学习设随机种子为何结果仍可能不同？

在深度学习里，即便设定了随机种子，每次实验的结果也可能会不一样，主要是由如下几个因素造成的：其一，随机梯度下降（SGD）。在深度学习训练过程中，SGD是常用的优化算法，它自身带有随机性。因为它每次只会随机选取一部分数据来计算梯度。这就使得即便随机种子相同，在每次迭代时用到的样本批次也可能有所差异，进而造成结果的不一致。其二，异步随机梯度下降。在并行训练的时候，多个计算设备也许会同时计算梯度，这种并行计算所引入的随机性同样会对最终结果产生影响。其三，硬件的差异。不同的硬件设备，像是CPU和GPU，对浮点数的计算在精度和顺序上可能存在不同，这也有导致结果不一致的可能。其四，随机性算法。深度学习里运用的一些算法，比如Dropout和批量归一化（Batch Normalization），即便固定了随机种子，也可能由于算法内部的随机性而致使结果有别。其五，数据增强与数据读取顺序。数据增强和数据读取具有随机性，这会影响模型训练的结果，就算设定了随机种子，这些操作的随机性或许也不能被完全掌控。其六，模型初始化。模型参数的初始化是随机的，虽然设定随机种子能够确保每次初始化保持一致，可是如果在模型创建之后再次修改参数，就可能引发不一致的情况。其七，深度学习框架的内部随机性。不同的深度学习框架（例如PyTorch、TensorFlow）可能有不一样的内部随机性处理机制，即便设定了随机种子，这些内部机制的差异也可能造成结果不同。所以，由于上述诸多因素的共同作用，即便设定了随机种子，深度学习实验的结果还是可能存在差异。为了提升实验的可重复性，就需要尽可能地控制所有可能的随机因素，并在相同的环境下开展实验。