检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
键一步。国有企业、上市公司如何充分发挥海量规模数据和应用场景等优势,如何解决数据难点,如何管好用好数据资产,已成为数字化转型的关键命题。对此,国内领先的数据分析和数据治理产品与服务提供商亿信华辰提炼出数据资产入表三大步骤,以期为有数据资产入表需求的国有企业和上市公司提供参考。 第一步:入表形成原始资产
监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少? 本示例仅1个 用户可手动创建几十个作业,也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口,则可创建超过100个质量作业 用户的使用场景? 对DWI层数据进行标准化清洗 一般在数据加工前后,
Studio服务进入数据集成界面可以看到。 在左侧导航栏中单击“集群管理”进入“集群管理”页面。然后,在集群列表中找到所需要的集群,单击“作业管理”。 图2 集群管理 进入作业管理后,选择“连接管理”。 图3 连接管理 创建两个连接,一个源连接OBS连接,用于读取存储在OBS上的原始数据,一个目的连接MRS
确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 业务指标监控 监控业务指标 数据质量监控 查看质量作业 步骤8:数据资产查看 在DataArts Studio数据目录模块中,您可以查看数据地图。
MySQL。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。
数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱敏算法,对原始数据中敏感数据进行掩码、截断、hash等,并将脱敏后的数据写入到目标端数据表。而目标表数据可以用来对外提
KMS密钥管理按密钥实例进行按需计费,您可以直接删除DEW服务已产生的KMS密钥。 APIG APIG计费说明 如果您使用的是数据服务专享版,则不涉及此项费用。 使用数据服务专享版时,共享版API网关按实际使用量计费,包含API调用量(次数)和流量费用(下行流量)两个维度。退订DataArts
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。
性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。 查看质量作业 在DataArts Studio数据开发中,作业运行成功后,您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。
(可选)升级企业模式工作空间 企业模式简介 创建企业模式工作空间 企业模式角色操作 父主题: 购买并配置DataArts Studio
对比版本 单击“版本对比”后,将会打开新窗口,左右两边分别展示出不同版本的脚本内容。两个版本的不同之处将会被标识出来以便用户查看,右上角有上一个不同和下一个不同两个按钮,可以直接跳到上一个或者下一个修改的地方。 图4 版本对比详情 父主题: 脚本开发
在运维调度的“实例监控”页面,可以查看作业实例的运行详情以及运行日志等。 图21 实例监控 作业运行成功后,您可以在DataArts Studio数据目录中查看汇总表的数据预览,具体操作请参见步骤8:数据资产查看。您也可以在数据开发的“脚本开发”页面新建一个Hive SQL脚本,执行
CDM可以跨账户使用吗? CDM不支持跨账户使用,可以通过授权给同一账户IAM子用户使用。 IAM用户授权操作步骤如下: 创建用户组并授权 在IAM控制台创建用户组,并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。
在作业画布或编辑器上方单击“提交”,提交版本。选择审批人,描述内容长度最多为128个字符,并勾选是否在下个调度周期使用新版本,不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中心”开启了提交审批的开关,则作
建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。
支持中文、英文、数字、下划线,且只能以英文或中文开头,3-64个字符。 API目录 一个特定功能或场景的API集合,类似文件夹,指定当前API保存的位置,后续可以在指定的API目录中检索当前API。 API目录是数据服务中API的最小组织单元。您可以选择新建API目录已创建的目录。 请求Path
查询脚本信息 功能介绍 此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script_name}?version={version}
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168
价格详情。 详情请参见什么是可用区。 企业项目 default DataArts Studio实例默认工作空间关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实
查询所有集群的企业项目ID 功能介绍 查询当前项目下的所有集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是