位于匹兹堡的AI初创公司Petuum在软银的支持下,开发了一种新型工具,用于使计算机之间的机器学习操作并行化。该软件可以帮助打破IT在各个行业扩展AI时遇到的瓶颈。

在过去的三十年中,机器学习取得的突破与计算中的一个重大想法紧密相关:并行分布处理,其中程序的一部分在多个处理器上同时运行以加快计算速度。

一名AI研究人员认为这一领域需要更好地理解并行,以便让并行化AI变得非常简单。

卡内基梅隆大学机器学习教授邢波三年前在匹兹堡创立了Petuum。该公司已经获得了1.08亿美元的融资,由日本软银集团领投,研华资本、中国计算机巨头腾讯、北极光创投基金和元禾谷风创投资金跟投。

该公司计划在明年夏天发布第一版AI平台软件,邢希望将机器学习“工业化”,从而使其更可靠、应用领域更广泛。

AI的大部分挑战是系统工程挑战,核心是在各种机器配置中并行运行算法的问题。

“当你部署算法时,你需要去维护,需要对其进行更新和改变。”邢告诉ZDNet。

Petuum首席执行官邢波

“目前人才短缺,大多数公司并没有建立过AI团队。”

“其他公司需要构建机器学习解决方案,需要对AI进行工业化,也需要有标准,我们希望成为这种文化的领导者。”

Petuum目的是实现数据或模型并行

邢及其同事在2015年的《IEEE大数据交易》中发表了一篇论文,对这一平台进行了广泛的介绍。

其中一个是“数据并行”。当然,这是AI中一种非常流行的方法。通过向不同的处理器(CPU或更常见的GPU)发送不同的数据来加快机器学习中的训练,在某些情况下也会加快推断。

另一种不太常见且更难以设计的方法是将网络分成多个处理器,称为“模型并行”。几十年来,这些并行问题一直是计算机科学的关注点。对于用Google TensorFlow或流行的Caffe框架编写的机器学习程序来说,Petuum的软件可以自动实现数据或模型并行,或两者兼而有之。

这项工作的关键见解是,与其它程序不同,机器学习不是确定性的,而是概率性的。因此,相比于其它类型的软件,它在并行性方面具有三个优点:程序功能的各个部分中的容错率很高;程序各部分之间的依赖关系是动态的,会在程序运行的过程中发生变化;并且不同的部分会在已知的问题上达成一个解决方案。

Petuum软件开发了一些技巧来利用这些优势。例如,“参数服务器”运行了调度协议,该协议会根据神经网络中的哪些参数之间的相关性“低”,来选择神经网络中的哪些参数并行运行。

这个结果会让人联想到MapReduce大数据框架,但Petuum认为其系统与MapReduce和其它并行化基础架构(如Spark和GraphLab)相比具有许多优势。

2010年,邢从卡内基梅隆大学休年假,到Facebook担任访问教授时,邢有了感悟,创立了这家公司。

“我对自己无法快速交付模型而感到尴尬,”他回忆道:“我回到了卡内基梅隆大学,然后我们开始了一个关于如何获取现有机器学习代码的研究项目,并自动为数据中心制作并行版本。”

Petuum仍在开发使平台货币化的方法。邢说,它可能包括一个许可模型,该模型根据客户在给定AI系统上工作的机器或用户的数量来收费。但是,与此同时,Petuum正在为垂直行业提供一些套装软件。他说,这个想法是为了证明“我们能够解决重大的AI问题”。

医疗保健行业是该公司的一个早期客户。医院对邢特别感兴趣,因为他们可能没有专门的AI团队,即使成立了这个团队,这个团队可能会受到在各种硬件上部署AI模型的需求的挑战,从单个笔记本电脑到最多许多应用程序容器的云基础架构。

“他们有一个IT团队,可能会专注于用户界面并更新算法,但这是在Petuum上运行的,他们不需要担心数据在不同机器上的分布或运行方式。”

医疗保健所成就的第一个产品是使用诸如放射学扫描之类的数据,并通过强化学习进行处理,为医生自动生成人类可读报告的系统。

“你可以增加诊断结果,也可以加快医生的工作速度。”

该公司与克利夫兰诊所于9月宣布合作,获得的成果是开发出了AI诊断引擎(AIDE),“可以将先进的机器学习算法应用到医疗记录数据”。该合作关系正在争夺IBM的“Watson AI Xprize”。

当然,工业化AI留下了这样的问题:这些努力是否会更接近“通用人工智慧”的圣杯。

“我不认为有一种算法可以解决一般的AI问题,”他说:“处理语音并读取图像,这是不可能的,甚至从科学的角度来说,这都是不可能的。”

“但如果你从工程角度来谈论可以在不同地方使用的螺母和螺栓,那么我们就可以制造出可以重复使用的不同构件。”

“更大的问题在于,”他说:“科学家和工程师之间的脱节:双方并没有给对方提供见解。”

“要弥合这一差距还需要做更多的工作。我并不认为我们只需要发明更高级的模型,你还需要让工程师将模型转化为产品。”

Petuum软件系统架构

Petuum的八篇论文即将于下个月在蒙特利尔举行的NeurIPS机器学习大会上展示。

原文作者:Tiernan Ray

信息化和软件服务网 - 助力数字中国建设 | 责编:赵曜 左右