360 深度学习调度平台 XLearning 全面开源

AI
近日,360 公司宣布开源其深度学习调度平台 XLearning。该平台由 360 独立开发,集成了 TensorFlow、MXNet 等多个常用深度学习框架。借助该平台,人工智能行业内开发者将可在一个统一、稳定的平台上完成工作,其工作量和工作难度将大幅降低。

人工智能技术近年来取得了长足的进展,但是有几个难题横亘在开发者的面前,亟需解决:第一,深度学习开发平台众多,他们“各自为战”,以致开发出的产品兼容性不足;第二,深度学习作业缺乏统一的资源调度、管理,给开发者带来诸多运维负担;第三,海量样本数据的可靠存储,考验行业的网络安全水准。

而此次开源的深度学习调度平台 XLearning 对于解决行业问题提供了新思路。据悉,XLearning 自 2017 年 4 月正式开始开发,历经多个版本的迭代,目前已经在 360 公司的搜索、人工智能研究院、商业化、大数据中心等业务线广泛使用。(开源地址 https://github.com/Qihoo360/XLearning)

XLearning 主要负责深度学习作业的调度和监控工作,通过保持代码的兼容性,大大降低了业务作业迁移的成本。由于实现了平台的统一,运维的复杂度大幅降低, GPU 等硬件资源的利用率大幅提升。可视化的操作界面让算法工程师从繁杂的工作中解脱出来。开发者也不必再为海量样本数据的存储大费周章。

XLearning 项目负责人李远策表示, XLearning 对于开发者的意义重大,因为同行业的公司都会有类似的开发需求,XLearning 则可以帮助他们实现调度的统一和服务器资源的复用。随着平台算法库的不断增容和优化,开发者的工作难度将大大降低。他们将有更多的精力,用于功能的实现和代码的优化。

“这是一个教学相长的过程,相信众多开发者的智慧汇聚到一起,平台的功能将愈加强大,行业整体的技术水平也将水涨船高。”李远策说。

题图:123rf