检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的后缀。 添加规则:单击“添加规则”进行设置。
通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据;数据标准所定义的密级分类和责任主体,为数据安全管理提供依据;数据标准也是数据资产管理重要输入。
0~2147483647 CDM集群实例 1分钟 pg_connect 数据库连接数 该指标为从物理机层面采集的postgres数据库连接数。 单位:Count/个。
如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
天依赖分钟 规则:按自然天,天周期作业实例依赖前一天内分钟级作业的实例。 举例:A依赖B,A为天作业,依赖B分钟作业, A依赖B在前一天内的最后一个实例, A会在最后一个B作业实例执行完成后执行。 天依赖小时 规则:按自然天,天周期作业实例依赖前一天内最后一周期小时作业的实例。
周依赖天 规则:周作业只依赖同一天调度执行的作业。 举例:A依赖B,A作业计划周二执行,B作业每天运行,A周二的作业会在周二的B作业执行完后再执行。 图15 周依赖天 周依赖周 规则:周作业只依赖同一天调度执行的作业实例。
仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。
3600 40 修改规则分组接口 修改规则分组接口 1800 20 删除规则分组接口 删除规则分组接口 1800 20 数据权限查询接口 表5 数据权限查询接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询角色对一组库、表的可配置操作权限信息 查询角色对一组库
数据库或Schema:勾选“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:勾选“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:勾选“生成异常数据”时显示此项,表示存储异常数据的表的后缀。 添加规则:单击“添加规则”进行设置。
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。
表1 实时处理集成作业支持的监控指标 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) 源库WAL抽取时延 该指标用于统计当前从源库抽取WAL的时延 ≥ 0ms 实时处理集成作业 1分钟 作业数据输入速率 展示用户Flink作业的数据输入速率,供监控和调试使用 ≥ record
图13 添加路由1 图14 添加路由2 在数据源侧为资源组开放网段,详情请参见添加安全组规则。 用户数据源安全组和防火墙放通资源组网段。 添加路由,使数据源VPC与资源组网段网络打通。
如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
图14 规则配置页 配置完成后,单击“确定”,完成事实表字段批量关联质量规则。 通过逆向数据库导入事实表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到事实表目录中,使其变成事实表。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。
图1 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 设置源表与Topic映射规则: 目标Topic名称规则:源端表名与目的端Topic名的映射规则,可以指定为单一Topic,也可使用内置字段做映射。
通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 此外,您还必须确保该ECS主机与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 约束限制 Python节点支持脚本参数和作业参数。
详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图
通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。