-
数据治理度量维度 - 数据治理中心 DataArts Studio
的水平。 数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动促进各部门的数据治理工作,改进数据质量,提升数据治理水平。 图1 数据治理评分卡 父主题: 数据治理度量评估体系
-
面向的读者 - 数据治理中心 DataArts Studio
面向的读者 本文面向的读者包括:企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
-
开发一个Hive SQL作业 - 数据治理中心 DataArts Studio
本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。
-
SDK概述 - 数据治理中心 DataArts Studio
SDK概述 DataArts Studio服务软件开发工具包(DataArts Studio SDK,DataArts Studio Service Software Development Kit),目前提供了REST API SDK包和数据服务SDK包两种开发包,功能和差异如
-
表达式概述 - 数据治理中心 DataArts Studio
数据开发模块 EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象:提供了一系列字符串、时间、JSON操作方法,例如从一个字符串中截取一个子字符串、时间格式化等。
-
方法论产品落地 - 数据治理中心 DataArts Studio
发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有完全版本,详细描述了流程落地和功能落地内容。欢迎您通过《华为数据之道》图书进行深入了解,或进行服务咨询。
-
步骤7:数据质量监控 - 数据治理中心 DataArts Studio
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。
-
数据安全治理维度 - 数据治理中心 DataArts Studio
数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平台的构建,而是覆盖数据全生命周期,结合组织自身使用场景的体系建设。依照组织数据安全建设的方针总则,围绕数据全生命周期各阶段的安全要求,建立与制度流程相配套的技术和工具。 图3 数据安全技术体系 其中基础通用技术工具为数据全生命周期的安全提供支撑:
-
创建DWS数据连接,开启SSL连接时测试连接失败? - 数据治理中心 DataArts Studio
创建DWS数据连接,开启SSL连接时测试连接失败? 可能是由于DWS集群的三权分立功能导致的。请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
-
数据库、数据仓库、数据湖与华为智能数据湖方案 - 数据治理中心 DataArts Studio
数据价值。 数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。
-
什么是数据治理中心DataArts Studio - 数据治理中心 DataArts Studio
缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。 缺乏数据的质量管控和评估手段,数据不可信。 数据运营的挑战 数据运营效率低,业务环境的快速变化带来大量多样化的数据分析报表需求,因为缺乏高效的数据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求。
-
业务指标监控概述 - 数据治理中心 DataArts Studio
当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,
-
数据质量监控概述 - 数据治理中心 DataArts Studio
数据质量监控概述 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量
-
数据开发概述 - 数据治理中心 DataArts Studio
n Language,简称EL),根据运行环境动态生成参数值。数据开发EL表达式包含简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 环境变量:环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所使用到的信息。 补数据:手工触发周期方式调度的作业任务,生成某时间段内的实例。
-
DataArtsStudio实例一键购买接口 - 数据治理中心 DataArts Studio
DataArtsStudio实例一键购买接口 功能介绍 DataArtsStudio实例一键购买接口 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/onekey-purchase 表1 路径参数 参数 是否必选 参数类型
-
概述 - 数据治理中心 DataArts Studio
使用IAM认证时,需要通过调用IAM服务的获取用户Token接口获取Token,然后通过在请求消息头中添加“X-Auth-Token”参数并将所获取的Token作为参数值,再通过API调用工具或SDK方式调用已发布的API。 “无认证”:不需要认证。安全级别低,所有用户均可访问,建议仅在测试接口时使用,不推荐正式使用
-
如何将云下内网或第三方云上的私网与CDM连通? - 数据治理中心 DataArts Studio
Translation)或端口转发,以代理的方式访问。 这里重点介绍如何通过端口转发工具来实现访问内部数据,流程如下: 找一台windows机器作为网关,该机器必须可以直接访问Internet,同时可以访问内网。 在该机器上安装端口映射工具(IPOP)。 通过端口映射工具(IPOP)配置端口映射。 长时间将内网数据库
-
开发Python脚本 - 数据治理中心 DataArts Studio
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接
-
数据资产guid - 数据治理中心 DataArts Studio
数据资产guid 每个业务资产、技术资产或指标资产都具备guid,guid是资产的唯一标识符。在调用数据目录或数据地图接口时,部分URL中需要填入guid。 在数据地图或数据目录组件中,数据资产guid的获取步骤如下: 在DataArts Studio控制台首页,选择实例,单击“
-
数据治理实施方法论 - 数据治理中心 DataArts Studio
度量评估: 表1 度量评估 度量评估工具 度量评估对象 度量评估方法 度量评估频次 数据治理成熟度评估 企业整体 调查问卷 年度 数据治理评分卡 各业务及IT部门 数据治理工作组与各业务及IT部门共同打分 季度 两个层面的数据治理度量评估工具 通过年度的整体数据治理成熟度评估,了