检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
体验、版本规格和计费标准均保持不变。 旧版本模式除初级版外的其他版本升级到新版本模式,为保证数据治理功能体验一致,会转换为新版本模式下的非标准企业版(与标准企业版的支持组件一致,但规格不同);同时版本规格相比旧模式有所提升,且计费标准不变或下降(如果计费标准下降,DataArts
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明
框架,指导各领域进行分类管理。华为信息架构框架,通过政策发文明确信息架构的定义和构成要素,在公司层面建立统一的架构方法。基于ISO8000标准,华为建立了数据质量管理框架和运作机制,每年例行开展两次公司级数据质量度量,从“设计“与”执行”两个方面度量数据质量,由公司数据Owner
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时,通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。
在本示例场景下,当前面临的数据问题如下: 未建立标准化模型 数据字段命名不标准、不规范 数据内容不标准,数据质量不可控 统计口径不一致,困扰业务决策 通过DataArts Studio实施数据治理,期望能够达到以下目标: 数据标准化、模型标准化 统一统计口径,提供高质量数据报告 数据质量监控告警
分离、系统集成,向合作伙伴、开发者开放功能和数据。 相对于数据共享交换或其他数据开放形式,使用数据服务进行数据开放具备如下优势: 统一接口标准,减少上层应用对接工作量。 将数据逻辑沉淀至数据平台,实现应用逻辑与数据逻辑解耦,在减少数据模型的重复开发的同时,避免数据逻辑调整带来的“散弹式修改”。
同时可能使收费增加,请确认。 设置专享版API已分配配额。 图5 设置配额 已分配配额不能小于已使用配额,不能大于总配额-总分配配额+已分配配额。 选择需要解冻的API,单击操作列“解冻”完成API的解冻。 图6 解冻API 创建专享版API需要收费(10个以内不收费,超过10个
bytes_in 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 1分钟 bytes_out 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 1分钟
error_message String 错误信息。 detail String 日志详情。 in_flow_size Long 输入流量大小。 out_flow_size Long 输出流量大小。 out_total_size Long 输出数据条数。 状态码: 400 表6 响应Body参数 参数 参数类型
修改目录 功能介绍 修改目录(数据标准、码表)。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/directorys 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
创建目录 功能介绍 创建目录(数据标准、码表)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/directorys 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
eTable(码表目录),Directory_Standard(标准目录),DIM(维度建模),codeTable(码表);dataStandard 数据标准;directory_id导出指定目录下的码表/数据标准;model_id,biz_catalog_id导出指定模型,目录
删除目录 功能介绍 删除目录(数据标准、码表)。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/directorys 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
删除时间限定 Y Y N N 查询时间限定 Y Y Y Y 编辑时间限定 Y Y N N 新建数据标准 Y Y N N 删除数据标准 Y Y N N 查询数据标准 Y Y Y Y 编辑数据标准 Y Y N N 数据集成 权限点 管理员 开发者 运维者 访客 新建集群 Y Y N N 删除集群
是各组件内已无业务资源,各组件校验的资源如下: 管理中心组件:数据连接。 数据集成组件:数据集成集群。 数据架构组件:主题设计,逻辑模型,标准设计,物理模型,维度建模和指标。 数据开发组件:作业,作业目录,脚本,脚本目录和资源。 数据质量组件:质量作业和对账作业。 数据目录组件:
通过Shell节点执行用户指定的Shell脚本。 Shell节点的后续节点可以通过EL表达式#{Job.getNodeOutput()},获取Shell脚本最后4000字符的标准输出。 使用示例: 获取某个Shell脚本(脚本名称为shell_job1)输出值包含“<name>jack<name1>”的内容,EL表达式如下所示:
Capability Maturity Model)是《数据管理能力成熟度评估模型》GB/T 36073-2018国家标准,是我国首个数据管理领域正式发布的国家标准。旨在帮助企业利用先进的数据管理理念和方法,建立和评价自身数据管理能力,持续完善数据管理组织、程序和制度,充分发挥数据
yyy-MM-dd HH:mm:ss.SSS Z”的标准格式,例如“2018-01-08 08:08:08.666 +0800”。 图2 作业配置 此时,从其他数据源导入数据到云搜索服务时,如果源端数据中的日期格式不完全满足标准格式,例如“2018/01/05 15:15:46”
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您需要规划数据
处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。 场景说明 本案例基于某电影网站的用户和评分数据,使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集,并同步到OBS和MRS