360开源分布式训练框架Tensornet:构建在TensorFlow之上,针对广告推荐等大规模稀疏场景优化
TensorNet 的目标是让所有使用 TensorFlow 的开发者可以快速的、方便的训练出稀疏参数超过百亿的超大模型。TensorNet 支持异步和同步模式训练。异步模式在仅有 CPU 的集群中速度提升十分显著,同步模式在网卡速度超过 100GbE 的 GPU 集群中表现突出。在仅有 CPU 的集群中使用参数服务器的异步训练模式是训练模型速度最快的方法,TensorNet 异步训练架构与 TensorFlow 的异步训练架构有很大的区别。