什么是大数据
大数据,根据百度的解释,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。这里的常规软件指的是传统的关系型数据库(如oracle、sqlserver),数据量和处理要求超过它们的处理能力。新的处理模式主要是指hadoop、分布式数据库等技术,它的系统架构能满足海量数据的处理要求。
有了大数据,有了更多的历史数据,我们就可以做更精准的分析和挖掘,就可以更好的发现问题,更好的解决问题,更好的预测未来,使事物按照我们希望的方向发展。
大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
大数据的特征决定如何发挥大数据的价值:一、要有海量、真实的数据(Volume、Veracity);二是对不同结构数据进行规格化,保障数据口径的一致性(Variety);三是根据业务要求,对数据采取相应的存储和处理技术,生成有价值、满足时效性的数据(Value、Velocity)。
有了大数据,有了更多的历史数据,我们就可以做更精准的分析和挖掘,就可以更好的发现问题,更好的解决问题,更好的预测未来,使事物按照我们希望的方向发展。
大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
大数据的特征决定如何发挥大数据的价值:一、要有海量、真实的数据(Volume、Veracity);二是对不同结构数据进行规格化,保障数据口径的一致性(Variety);三是根据业务要求,对数据采取相应的存储和处理技术,生成有价值、满足时效性的数据(Value、Velocity)。