DeepMind最近發(fā)布了一個(gè)名為TF-Replicator的分布式機(jī)器學(xué)習(xí)庫(kù)，原本是內(nèi)部使用的工具，現(xiàn)在已經(jīng)作為TensorFlow的一部分開源。此庫(kù)為TensorFlow 2.0和Keras提供方便的多GPU/云TPU部署功能。用戶只需定義輸入函數(shù)和步驟函數(shù)即可使用，代碼與單個(gè)設(shè)備編寫的TensorFlow代碼類似，允許自由定義模型運(yùn)行循環(huán)。測(cè)試使用GAN在ImageNet上進(jìn)行訓(xùn)練，結(jié)果顯示在多塊GPU上分布式訓(xùn)練效果顯著優(yōu)于單一GPU訓(xùn)練。最高batch size 512時(shí)，生成的橙子圖片形狀和質(zhì)量接近真實(shí)，出實(shí)得分提高約50%。官方文檔、Colab筆記本、GitHub筆記本及DeepMind博客均提供了詳細(xì)信息，歡迎探索。
