120345108.png

IBM的软件是如何做出决策的?

AI项目缺乏可解释性决策是一个重大问题。无法理解AI如何做出决策会阻止人们在法律、医疗以及处理敏感用户数据的企业等领域中部署AI。在近期数据保护条例(尤其是《通用数据保护条例》)的背景下,理解数据是如何处理的以及AI是如何做出某些决策更加重要,这一保护条例会严厉处罚无法解释或记录如何做出决策的公司(不论是由人还是计算机做出的决策)。

IBM或许在解决这一问题上迈出了重要的一步,该公司于今天宣布一款用于检测AI模型偏见和追踪决策过程的软件服务。这一服务能够让公司追踪发生的AI决策,并监控任何“偏见”行为,从而确保AI过程和条例以及整个业务目标保持一致。

如果这一软件能够真正解释即使是最复杂的深度学习算法做出的决策,那么它可以让很多公司在使用AI数据前保持平常心。

避免做出错误的决策

“可解释性是我们研究的重点。”IBM全球咨询服务部董事Jesus Mantas在采访说道。通过将IBM的预测性决策和AI项目实际做出的决策进行对比,包括所占的比重以及对于决策的信心,理论上来说,该软件能够知道这一算法是否有偏见,并决定产生偏见的原因。

这能够允许公司通过追踪AI项目使用数据的方式来验证数据保护条例下的合规性,并确保敏感的结果不会受到偏见模型的影响。公司也可以自己设置追踪的决策参数,因此有瑕疵的决策既不会影响到他们的业务目标,也不会影响条例要求。

Jesus Mantas对法庭上的GDPR诉讼案件胸有成竹:“公司能够提供做出决策的时间和方式、影响决策的因素以及是否限制了一种算法”,从而有效地提供所有必要的信息来保证AI所做出的决策是可解释的,并符合法规要求。

偏见检测软件所提供的可视化结果是否足以理解、甚至更重要的是解释复杂的深度学习AI算法还有待分晓,因为目前不可能理解AI系统是如何做出决策的。这个说法来自IBM,去年,研究机器学习应用的麻省理工教授Tommi Jaakkola说道:“如果你有一个很小的神经网络,你或许能够理解,但是一旦这个神经网络变得很大,那么它每层结构都有上千个单元,亦或是数百个层结构,然后就会变得更加无法理解。”唯一的问题不仅仅是我们无法看到深度学习算法做了哪些事,而且我们也无法理解它们的工作,所以IBM的可视化软件能够解决一切问题吗?

数据偏见和模型偏见

这款基于云的软件能够同时运行最常用的AI项目,如Watson、Tensorflow、SparkML、AWS SageMaker和AzureML,因此AI所做出的决策能够被实时地检查和控制。这种监控AI的方式有别于现有的偏见检测软件,因为它自己能够监控模型以及运行时所运行的数据,这能够让公司深度研究、指导或者限制这个项目,而不是运行数百万位的数据来决定偏见。

数据偏见是一个严重的问题,正如我们在美国的一些案件庭审现场看到,算法为庭审提供了一些建议,错误地认为黑人比白人更容易再次犯法。在这种情况下,算法是基于有偏见的数据来训练以及改变的,这会导致做出有偏见的决策。Jesus Mantas说道:“如果算法根据年龄、种族或者性别来做出决策,那么IBM软件能够将算法的行为可视化并改正这种偏见,并在必要的时候限制算法。”

推动AI的采用

与这个软件服务一同发布的还有AI Fairness 360 Toolkit,这是一个开源的算法、代码和教程库,允许程序员在构建模型的时候进行偏见检测。那些希望对AI系统进行编程的人可以更深入地了解程序的可靠性,并且也能够感受到他们对于模型能够实现完全部署的信心。

IBM近期的一份报告强调,尽管采用AI的意愿很高(在5000名企业高管中,有82%的人正在考虑采用AI),但是对于AI可靠性的担忧以及缺乏技术性技能则阻止了很多企业采取进一步的措施。

AI决策的真实可解释性能够赋予高管在整个企业中实施AI所需要的信心。

这意味着什么?

有了这个软件,IBM制定了一个野心勃勃的目标,即增加AI技术在全球的传播和协作,来提高对于之前决策过程的理解,并帮助企业充分了解AI,从而能够在整个公司内部署。

时间会证明这款软件是否会像承诺的那样提供更多的见解,因为最深度的机器学习算法则根本难以理解,但是这个是实现AI项目能够解释它们行为所迈出的重要一步,并且要说服公司AI是值得他们信任的,还有很长的路要走。

原文作者:Charles Towers-Clark

信息化和软件服务网 - 助力数字中国建设 | 责编:赵曜 左右