检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 基线预警时间=承诺时间-预警余量,如果实际完成时间晚于承诺时间 - 预警余量时间,则会触发报警。例如,设置承诺时间为4:30,预警余量为20分钟,如果系统预测任务无法在4:10分完成,则会发出基线报警。 预警余量(分钟) 设置该基线任务运行结束的预警时间。
单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选:即手动在数据表列表中选择需要进行敏感发现任务的表。
如果希望为运维人员预留一定的时间处理异常,您可以为基线设置预警余量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 预警余量:预警提前的时间,达到余量时即触发基线预警。 预警时间:即承诺时间-预警余量。
物理表关联了质量规则进行发布后,在数据质量作业目录上面单击“同步主题为目录”后,数据架构自动生成的质量作业,会按照主题结构同步到数据质量对应的目录下。
创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定义的规则。数据质量的规则包含6个维度,分别是:完整性、唯一性、及时性、有效性、准确性、一致性。 可选:单击“新建”,可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。 单击左侧导航“质量作业”。
旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据质量”模块,然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质量主界面,单击左侧导航上的“规则模板”,进入规则模板列表。 在规则模板列表,选择自定义的规则模板,然后单击“导出”。
基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出。 查看事件列表 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
其中CDM节点的失败策略需要设置为“继续执行下一节点”。 图2 配置CDM节点的失败策略 右键单击连线,选择“设置条件”,在弹出的“编辑EL表达式”文本框中输入IF条件。 每一个条件分支都需要填写IF条件,IF条件为通过EL表达式语法填写三元表达式。
参数设置参考表2,并勾选左侧列表中的分类规则。 用户所勾选的规则将显示在右侧列表中。 表2 参数配置表 配置 说明 名称 规则组名称只能包含中文、英文字母、数字和下划线。 描述 为更好的识别规则组,此处加以描述信息。描述信息长度不能超过4096个字符。
敏感数据治理 敏感数据识别通过用户创建或内置的数据识别规则和规则组自动发现敏感数据并进行数据分级分类标注。
为了进行业务指标监控,可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,可以判断业务指标是否满足质量规则。本例通过监控出租车一天的运营收入,对于当天收入低于500进行预警。
手工修正:发现敏感数据后,您必须根据具体情况进行手工修正,通过对任务中的识别规则进行“确认”,使规则状态变更为“有效”,才能使该识别规则在静态脱敏任务中生效。
基线状态: 安全:任务在预警时间之前完成。 预警:任务在预警时间之后未完成,但还未到达承诺时间。 破线:任务在承诺时间之后仍未完成。 异常:基线所有任务处于暂停状态或基线没有关联任务。 用户可以查看基线实例的更多详细信息,例如查看基线实例的详情和相关事件。
告警条件 告警表达式 此参数可选,如果您需要针对当前规则设定告警条件,则可以在此配置告警条件的表达式。如果您需要通过多条规则的逻辑运算统一设置告警条件的表达式,此处无需设置,可在下一步的告警配置中统一设置。
调度时间 设置调度任务的起始时间和结束时间。 父主题: 业务指标监控(待下线)
对DWI层数据进行标准化清洗 一般在数据加工前后,对数据的质量通过六大维度的规则进行质量监控,当发现不符合规则的异常数据时向用户发送报警 6 数据目录 需要支持哪些数据源? MRS Hive - 数据资产的数量规模有多大?
基线运维 基线运维概述 基线运维约束限制 基线实例 基线管理 事件管理 合理配置基线承诺时间和预警余量 父主题: 运维调度
前提条件 数据分类规则已创建,数据分类规则的创建请参见新建数据分类。 数据连接,数据表已创建成功,敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
场景二:离散小时依赖小时、分钟、离散小时, 或者小时、分钟依赖离散小时,依赖都遵循如下规则。 规则一:自然天内,依赖关系中的上游、下游任务数量一致,则上游、下游一对一依赖。
新建规则。 单击左侧导航“规则管理”。 单击页面上方的“新建”,创建第一条规则。 输入参数值,如下图所示。 单击“保存”。 单击页面上方的“新建”,创建第二条规则。 输入参数值,如下图所示。 单击“保存”。 新建业务场景。 单击左侧导航“业务场景管理”。