检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等问题,极大降低了开发维护成本。 CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能,自行
Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 (可选)选择“数据质量监控 > 质量作业”,新建目录。如果已存在可用的目录,可以不用新建目录。 在“质量作业”页面单击“新建”,进入“基本配置”页面,配置质量作业的基本信息。 单击“下一步”进
空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。 图3 添加成员 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员和对应角色,也可将空间成员从工作空间中删除。
的质量规则。支持周期性的监控。 业务指标监控 新建指标 新建规则 新建业务场景 数据质量监控 新建数据质量规则 新建数据质量作业 新建数据对账作业 数据目录(数据地图与数据权限) 在DataArts Studio数据目录模块中,您可以查看数据地图,还可以进行数据权限管理。 数据地图
制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。 数据治理委员会和各领域数据治理工作组是数据治理战略在运作层面具体的实施团队。其中:
需要发送消息的DIS通道。可以直接输入DIS通道地址或选择DIS通道。 发送数据 是 发送到DIS通道的文本内容。可以直接输入文本或单击使用EL表达式编辑。 相关作业 否 选择相关作业,您可以选择批作业或实时作业,最多只能选择10个作业。 相关作业参数用于节点运行后,方便跳转到对应作业的监控列表。选
空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。 图3 添加成员 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员和对应角色,也可将空间成员从工作空间中删除。
运维调度 运维概览 作业监控 实例监控 补数据监控 基线运维 通知管理 备份管理 操作历史 父主题: 数据开发
单节点删除:右键单击画布中的节点图标,选择删除或按快捷键Delete。 多节点删除:按下键盘中的Ctrl,单击画布中需要删除的节点图标,在当前作业画布空白处单击右键,选择删除或按快捷键Delete。 复制 支持复制一个或多个节点至任意作业中: 单节点复制:右键单击画布中的节点图标,选择复制或按快捷键Ctrl+C,
Studio数据目录模块中通过标签搜索相关的数据资产。 单击按钮可以为表添加标签,在弹出框中可以选择一个或多个已有的标签,或者输入一个新的标签名称后按回车键。您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签,详情请参见管理资产标签,然后再返回此页面,就可以在标签的下拉列表中选择新添加的标签。
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如图1所示。 图1 新建字段转换器 在迁移过程中可以对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,通
整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择 “运维调度 > 实例监控”,日期选择当天,查看哪些作业调度较多。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”,查看调度较多的作业设置的调度周期是否合理。如果调度周期不合理,建议适当调整这些调度周
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
在购买DataArts Studio基础包实例后,您可以根据实际需求购买批量数据迁移增量包。 批量数据迁移增量包支持通过按需计费或套餐包方式计费两种方式购买: 按需计费方式购买数据集成集群:按需计费方式比较灵活,可以即开即停,按实际使用时长计费。 套餐包方式购买数据集成集群:套餐
所有任务运行异常或者失败后,在任务未修复前,可以设置间隔时间发送告警通知。 说明: 最大通知次数可设置为1~50。默认为1时,最小通知间隔不显示。 最小通知间隔可设置为5~60。 通知方式 按主题 按责任人 主题 当“通知方式”选择“按主题”时才需配置。 选择通知的消息主题。该主题是指SMN消息通知服务的主题。
CTS支持配置关键操作通知。例如用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DataArts Studio服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。 父主题: 安全
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。
解决方案:解决方案为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业,一个作业可以被多个解决方案复用。 作业:作业由一个或多个节点组成,执行作业可以完成对数据的一系列操作。 脚本:脚本(Script)是一种批处理文件的延伸,是一种纯
的遵从 5 数据质量 有哪些需求,需要获得什么价值? 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少? 本示例仅1个 用户可手动创建几十个作业,也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口,则可创建超过100个质量作业 用户的使用场景?
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。