数据湖vs数据仓库

问题不在于是否需要数据湖或数据仓库。很可能两者都需要,但其目的不同,也可以将它们组合起来。首先了解数据湖和数据仓库之间的主要区别:

数据源:数据湖的典型数据源包括日志文件、来自点击流的数据、社交媒体帖子以及来自互联网连接设备的数据。数据仓库通常存储从事务数据库、业务线应用程序和操作数据库中提取的数据以供分析。

模式策略:数据湖的数据库模式通常在分析时应用,称之为读模式。企业数据仓库的数据库模式通常在创建数据存储之前设计,并在数据导入时应用于数据,这称之为写模式。

存储基础设施:数据仓库通常采用大量价格高昂的内存和SSD硬盘,以便快速提供查询结果。数据湖通常在计算机集群上使用价格较低的机械硬盘进行存储。数据仓库和数据湖都使用大规模并行处理(MPP)来加速SQL查询。

原始数据与精选数据:数据仓库中的数据应该被整理到可以将数据仓库视为企业的“单一事实来源”的程度。数据湖中的数据可能会或可能不会被管理:数据湖通常从原始数据开始,然后可以过滤和转换以进行分析。

谁使用它:数据仓库用户通常是业务分析师。数据湖用户通常是数据科学家或数据工程师,至少在最初是这样。数据在经过整理之后,业务分析师就可以访问这些数据。

分析类型:数据仓库的典型分析包括商业智能、批处理报告和可视化。对于数据湖,典型的分析包括机器学习、预测分析、数据发现和数据剖析。

—— 完 ——
相关推荐
评论

立 为 非 似

中 谁 昨 此

宵 风 夜 星

。 露 , 辰

文章点击榜

细 无 轻 自

如 边 似 在

愁 丝 梦 飞

。 雨 , 花