201310-Big-Data-3V

如果你问人们,大数据是什么?比较样板化的答案通常是三个V:数量(volume),效率(velocity)和广阔性(variety)。接下来他们会开始讨论,他们的数据到底有多大才能被定义为“大数据”。

当你开始看到实际技术的时候,事情开始变得比较复杂。这些主要的挑战使事情发展到,今天已经没有单一的一种科技可以一次性处理有关于大数据的三个V的所有问题——数量。效率和广阔性。

如果我不得不对大型集团公司介绍大数据科技,我宁愿让他们使用以下各种打包的技术来引进大数据功能。

  • Hadoop 和 Map Reduce:为了在商业计算机上分发数据敏感型应用而准备的框架。
  • NoSQL :一种新品种的数据库,并不像传统的相关数据库一样提供同样的一致性模型。
  • 内存数据库支持:数据库主要依赖他们数据存储中的主内存。
  • 柱状数据存储:数据以列而不是行来存储,这提供了分析应用的更快途径。
  • 流式处理:这是快速分解和过滤大量数据和事件的实时估算系统。

关于这些技术你会得到更多的信息,但是在目前为止,如果我们希望用3V维度来衡量,我们会得到下面这张表格。

201310-Big-Data-Technologies

这些技术对流量有持续的要求,其中某些事实上是多种不同解决方案的一个混合体。所以没有必要来挑剔这张表格的精确度,只是给我们一些指示来看一看哪种可能最适合,

有趣的事情是看一下Hadoop生态系统如何转化来解决速率较低的短板。每一个该系统的分销商都有他自己的方法,来为这一数据库系统提速。按照其中一家公司Hortonwork的宣传,他们会把这种Hadoop SQL数据库速度提升百分之百。

如果关于大数据有两件事情需要牢记的话,那就是:

  1. 大数据始终是一个正在移动的目标:数据处理的市场现在正在包围我们。试着跟最新的动态和变化保持更新。
  2. 你不能一劳永逸:就像其他所有的事情一样,没有任何一种解决方案适合所有场合。实际上,很多企业最终都没有办法,只能用多种大数据技术的整合来解决他们的问题。

如果你正在寻找针对大数据问题的解决方案,首先请通过三个V的大数据定义来看一看是什么问题导致你头疼,而根据这些问题产生的原因,选择解决起来比较擅长的方案。如果我必须要猜测的话,我会猜你最终会采用不止一种方法的组合。(编译:书航)

原文:The 3 V’s of Big Data and their Technologies

作者:Tzachi Lunet-Levi, Amdocs负责人