开源存储正在兴起——数据存储软件是在允许自由使用、分发和修改源代码的许可下以公开、协作的方式开发的。

组织现在正在处理大量的数据(PB级),并且所有这些数据都需要以灵活、可访问和安全的方式存储,同时允许分析和智能驱动的解决方案从中获得可行的洞察。

Druva的首席技术师Stephen Manley认为有三种趋势推动了开源存储的发展。

一、云架构和开源存储

Manley说:“云架构和开源存储已经相互促进,并在彼此的基础上发展壮大。”

他指出了两个最受欢迎的开源存储产品,Ceph和Lustre。两者的架构都与以前的文件系统(比如EXT4或ZFS)非常不同。一大区别是,它们将数据存储分离为“一个大型图书对象”,并将元数据存储在单独的数据库中。对Manley来说,这反映了它们正在为云架构而构建,“因为云存储只是开始锚定在对象存储上,然后在顶部提供数据库服务”。

这使得开源存储提供商认识到,存储环境已经发生了变化,就像为云构建一样。

另一方面也是如此。

“举个例子,如果你看看AWS,我相信它支持FSx计划的第一件事就是Lustre。对我来说,这反映了开源做得很好的一点。它非常善于专注于非常具体的问题,往往是非常垂直的市场导向。”

“Lustre是一个非常好的高性能计算,云提供商看到这一点后说,因为这是一个非常受欢迎的产品,我们应该在我们的云中实现它,而不一定要构建一些东西来与之直接竞争。”

从这一点可以明显看出,开源非常擅长:a)找到需要解决非常具体问题的利基市场;b)创建解决问题的架构;c)构建在内部和云中工作的架构。

二、分析领域的开源

开源在分析领域的影响力越来越大。

分析领域已经超越了Hadoop和MapReduce这样的面向文本和以大数据湖为中心的东西,开始理解世界正在向所谓的小数据蔓延转变。物联网、远程站点和办公室的激增,意味着组织希望远程处理或分析数据,同时给利用中心提供的数据添加丰富的信息。

随着这一变化,已经有越来越多的垂直产品将分析与存储集成在一起。

Manley解释道:“有人不仅仅想为物联网存储数据。物联网的意义在于正在处理和分析,我们看到了更多的集成管道,其中存储成为一个组件。而开源是目前最流行的方式,不管你看Spark还是Elasticsearch,因为它们可以快速发展,人们可以调整它们以满足特定行业的特定需求。”

三|、开源存储驱动智能

随着云存储越来越好,提供商必须不断创新,开源可以促进必要的创新。而且,创新的一个重要领域是将智能存储起来。

在过去,智能存储方法意味着对存储的数据进行快照并复制这些基本特性。但如今,存储系统(Ceph又是一个很好的例子)将元数据分开。这意味着分析元数据以进行分类、分析、发现问题或合规要容易得多。”

“今天,开源存储在增加更高附加值方面发挥了作用,不仅在核心服务方面,也在为客户保存数据的智能化方面。”

原文链接:

https://www.information-age.com/open-source-storage-driving-intelligence-small-data-sprawl-era-123486527/

信息化和软件服务网 - 助力数字中国建设 | 责编:左右