元数据应用

元数据是描述数据的数据,它可以帮助描述、理解、定位、查找企业的数据,支持数据的管理和使用。元数据不仅是数据治理的基础,而且在应用系统开发、数据仓库建设过程中也发挥着重要作用。

1. 元数据在数据治理中的应用

元数据管理是数据治理的基础,它用于定义和描述数据、数据之间的关系,以及数据如何管理、如何使用。元数据在数据治理中的主要应用如下:

  • 定义和描述业务域、业务主题和数据实体;
  • 描述数据结构和数据关系;
  • 描述源系统、目标系统、表、视图、存储过程和字段属性;
  • 定义和描述数据资产目录;
  • 定义和描述主数据模型的属性;
  • 管理数据标准;
  • 描述数据质量规则和数据质量检核结果;
  • 识别和定义数据集中的敏感数据、敏感属性;
  • 血缘分析和影响分析;
  • 描述数据流向,数据来自哪里、流向哪里;
  • 描述数据管理,谁负责管理数据、在哪里管理;
  • 描述数据的使用,谁有权使用数据、在哪里使用。

2. 元数据在应用系统开发过程中的应用

应用系统的开发一般需要3个环境:开发环境、测试环境和生产环境。在应用系统开发上线的过程中,经常会遇到在开发环境测试没有问题的应用系统,集成到测试环境中或迁移到生产环境中就会出现问题,例如SQL脚本执行不了,缺少数据表或视图,依赖的非空字段数据缺失,或者主外键关系、索引不正确等。

针对以上问题,元数据管理工具提供了一个行之有效的破解之法,如下图所示。

(1)通过元数据管理工具对应用系统所涉及的数据模型、库表结构进行规划设计,落地系统级逻辑模型。

(2)基于反向工程将元数据管理工具中的数据模型导入应用系统的开发、测试、生产等环境中,应用系统的开发可以在元数据管理工具提供的数据模型基础之上构建物理库表。

(3)通过元数据管理工具自动化采集开发、测试、生产三个环境的库结构、表结构、字段结构、视图与存储过程结构等元数据。

(4)在应用系统开发过程中,从开发到测试部署之前,通过元数据管理工具的对比分析功能,迅速找到开发和测试环境中不一致的地方,支持在测试环境快速部署应用系统,并确保数据环境的一致性。

同理,应用系统在生产环境中的部署和运行也可以采用第(4)步,以确保生产环境与开发、测试环境一致,支持应用系统的快速上线。

3. 元数据在数据仓库中的应用

数据仓库是用于数据分析、支持管理决策的系统。一个数据分析图表的诞生并不是一帆风顺的,需要经过多次的数据抽取、清洗、转换、汇总,才能将数据的结构、数据依赖关系、数据层次关系等理清晰,统一数据口径,将复杂的问题简单化,让设计者和使用者明确感知到数据的整个生命周期,以支持数据分析。

数据仓库是一个典型的分层设计的数据架构,其分层设计反映了数据在数据仓库中的加工处理过程。元数据作为数据仓库的核心组成部分,主要用于记录和管理数据在数据仓库中的整个流转过程,实现对数据仓库各层级数据进行统一管理,如图3所示。

元数据在数据仓库中的应用如下:

  • 描述数据源的库表结构、数据关系以及每个数据项的定义;
  • 描述数据源中每个数据项的值域范围和更新频率;
  • 描述数据源与数据仓库之间的数据映射关系;
  • 描述数据仓库中有哪些数据以及它们来自哪里;
  • 描述数据在数据仓库各层中的加工处理过程;
  • 元数据管理工具为数据管理者和使用者提供了理解和查询数据的一致语言;
  • 利用元数据管理工具的元数据变更和版本管理功能,管理数据仓库的数据模型,支持将元数据恢复到某一版本;
  • 利用元数据管理工具的血缘分析、影响分析等功能,对数据仓库中的数据问题快速定位、快速查找;
  • 利用元数据管理工具的开放式元数据交换标准,实现数据仓库中数据的交换和共享。
—— 完 ——
相关推荐
评论

立 为 非 似

中 谁 昨 此

宵 风 夜 星

。 露 , 辰

文章点击榜

细 无 轻 自

如 边 似 在

愁 丝 梦 飞

。 雨 , 花