检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评分计算公式 规则 创建质量作业时,作业关联的规则中结果说明列包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则,正向规则即比值越高,代表数据质量越好;反向规则即比值越高,则数据质量越差。 正向规则包含唯一
在维度表的详情页的表字段列表中,勾选需要关联质量规则的表字段,单击关联质量规则。 图6 维度表批量字段关联质量规则 在弹出的界面中添加规则,完成规则参数配置。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 添加规则:单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“
删除识别规则。 1800 20 修改识别规则接口 修改识别规则接口。 1800 20 批量删除识别规则接口 批量删除识别规则接口。 1800 20 修改识别规则状态接口 修改识别规则状态接口。 1800 20 创建组合识别规则 创建组合识别规则。 1800 20 修改组合识别规则 修改组合识别规则。
d93f0。 图2 获取实例ID和工作空间ID 在对应主题的操作栏,选择“添加订阅”。然后协议选择“短信”或“邮件”,输入接收告警通知的手机号或邮箱即可。 图3 添加订阅 购买作业节点调度次数/天增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,按照如下配置:
batchOperateRules 创建规则模板 RuleTemplate createTemplate 删除规则模板 RuleTemplate deleteTemplate 查询规则模板列表 RuleTemplate getRuleTemplateList 更新规则模板 RuleTemplate
40 规则模板接口 表3 规则模板接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 获取规则模板列表 分页获取规则模板列表。 300 40 创建规则模板 创建规则模板。 300 40 获取规则模板详情 获取规则模板详情。 300 40 更新规则模板 更新规则模板
页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级目录旁边的数字代表属于该级目录的规则实例的个数。 2 规则实例列表 展示实例名称、类型、运行状态、运行结果等信息。 3 管理区域 可以对所选实例进行导出、删除、停止运行的操作。
、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项
在汇总表的详情页的表字段列表中,勾选需要关联质量规则的表字段,单击关联质量规则。 图11 汇总表批量字段关联质量规则 在弹出的界面中添加规则,完成规则参数配置。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 添加规则:单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,
需要 Administrator或Tenant Administrator账号才能操作,且删除工作空间的前提是各组件内已无业务资源,各组件校验的资源如下: 管理中心组件:数据连接。 数据集成组件:数据集成集群。 数据架构组件:主题设计,逻辑模型,标准设计,物理模型,维度建模和指标。
防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见
新建指标 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。 图5 新建规则 选择“业务指标监控 > 业务场景管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建场景。 图6 基本配置 图7 规则组配置 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。
当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接
uuid String 规则ID。 rule_type String 规则类型, CUSTOM, BUILTIN secrecy_level String 密级名称。 secrecy_level_num Long 密级层级。 name String 规则名称。 guid String
updateClassificationGroup 创建分类规则 classificationrule createClassificationRule 查询分类规则列表 classificationrule listClassificationRule 查询分类规则 classificationrule
Y 新建规则模板 Y N N N 删除规则模板 Y N N N 操作规则模板 Y N N N 查询规则模板 Y Y Y Y 编辑规则模板 Y N N N 查询运行结果 Y Y N N 新建规则 Y Y N N 删除规则 Y Y N N 操作规则 Y Y Y N 查询规则 Y Y Y
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则 定义识别规则分组 发现敏感数据 查看敏感数据分布 管控敏感数据 父主题: 数据安全
对于作业依赖来说,比较灵活,能够满足用户的复杂业务场景。详细依赖推断规则说明如下: 规则一:天、小时任务按自然天、自然小时,推断出任务的依赖关系。 规则二:周、月任务按当日自然天,推断出任务的依赖关系。 规则三:大周期依赖小周期,如,天任务依赖小时任务,只依赖小周期最后一个任务成功与否。
质量报告接口 获取质量报告评分体系 获取质量报告概览 获取质量报告趋势 获取质量报告规则评分 获取质量报告子规则字段评分 获取质量报告技术报告数据 获取质量报告业务报告数据 父主题: 数据质量API