检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持对账作业周期调度。 支持委托方式提交作业的MRS集群有: MRS的非安全集群。 MRS的安全集群,集群版本大于 2.1.0,并且安装了MRS 2.1.0.1以上的补丁。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效日期。
String 实例模式,这里为Standalone。 subnetid String 实例的子网ID。 securegroup String 安全组ID。 vpc String 实例的VPC ID。 azcode String 可用区名称。 region String 局点名称。 created
查看API工作流授权:在API工作流列表页面,单击对应工作流操作栏中的“查看授权”,即可进入API完整信息界面,并对工作流进行授权。 注意,当入口API的安全认证方式为APP认证或IAM认证时,在调用API工作流前需要完成创建应用和将API授权给应用。工作流授权方式与API授权方式基本一致,可参考授权API调用或申请API授权。
SQL作业 编辑1中创建的Flink SQL作业,在SQL编辑器中输入语句。 图8 编辑Flink SQL作业 SQL语句实现的功能: DIS通过工具上传实时数据至DLI,使用1中创建的“dis-alarm-input”通道。 判断告警级别,当告警级别达到指定值时向用户发送短信通知。 D
章节进行排查。 配置源端、目标端参数。 各链路源端或目的端参数配置不同,详情请参见使用教程中对应的文档进行配置。 刷新源表和目标表映射,检查映射关系是否正确,同时可根据需求修改表属性、添加附加字段。 (可选)配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DM
集群所在虚拟私有云ID。 subnet_id String 集群所在子网ID。 security_group_id String 集群所在安全组ID。 nodes Array of InstanceNodeDTO objects 集群节点列表。 表6 FlavorDTO 参数 参数类型
集群所在虚拟私有云ID。 subnet_id String 集群所在子网ID。 security_group_id String 集群所在安全组ID。 nodes Array of InstanceNodeDTO objects 集群节点列表。 表4 FlavorDTO 参数 参数类型
search_name_and_description 否 Boolean 是否按名称和描述搜索。 security_levels 否 Array of strings 安全密级列表。 term_names 否 Array of strings 标签列表。 type_names 否 Array of strings
或Schema。 表前缀:表示存储异常数据的表的前缀。 表后缀:表示存储异常数据的表的后缀。 配置完成后单击保存配置。 (可选)质量规则的检查范围默认是全表,如需要精确定位分区查询数据,请填写where条件。 图10 where条件开关 配置完成后,单击“确定”,完成维度表字段批量关联质量规则。
前缀,作业将自动移除前缀并传入底层Kafka客户端,具体参数可参考Apache Kafka官方文档中的配置说明。 刷新源表和目标表映射,检查源端Topic和目的端Topic映射关系是否正确,支持用户根据实际需求修改映射后的目的端Topic名称,可以配置为一对一、多对一的映射关系。
ClusterDetailInstance objects 集群的节点信息,请参见instances参数说明。 security_group_id String 安全组id。 subnet_id String 子网id。 vpc_id String 虚拟私有云ID。 customerConfig CustomerConfig
在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。
终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持质量作业周期调度。 支持委托方式提交作业的MRS集群有: MRS的非安全集群。 MRS的安全集群,集群版本大于2.1.0,并且安装了MRS 2.1.0.1以上的补丁。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效日期。
发生重启时不会发生数据重复。然而这会使数据在 checkpoint 完成时才会可见,因此请按需调整 checkpoint 的间隔。 刷新源表和目标表映射,检查映射关系是否正确。 表8 源表与目标表映射 同步场景 配置方式 整库 支持用户根据实际需求修改映射后的目的端Topic名称,可以配置为一对一、多对一的映射关系。
如果您还未创建数据标准,请参见新建数据标准进行创建。 密级 单击按钮可以为逻辑实体属性添加密级。 如果没有您想要的密级,可点击跳转到数据安全界面中创建需要的密级。 如不使用该功能,可在配置中心 > 模型设计中关闭该功能。 代理键 请根据业务需求选择合适的字段作为代理键。系统默认第一个维度属性为代理键。
节点类型,当前只有“cdm”一种类型。 表6 nics 参数 是否必选 参数类型 描述 securityGroupId 是 String 安全组ID。 net-id 是 String 子网ID。 表7 Datastore 参数 是否必选 参数类型 描述 type 否 String
式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 图3 字段映射 如果字段映射关系不正确,用户可以通过拖拽字段来调整映射关系。
时,需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils
在已有的目录中选择一个目录,新建的目录将创建在所选择的目录中。 单击按钮,可以刷新目录。 单击按钮,可以刷新目录,可以同步主题目录到数据标准目录。 同步目录前,请检查当前空间是否有已发布主题。如果没有已发布主题,同步时系统会报错提示。 同步目录时,最多同步五级主题到数据标准目录(目录层级不能超过5层),
logical_is_deleted - 逻辑删除标记列名称,默认为logical_is_deleted,支持用户自定义。 刷新源表和目标表映射,检查映射关系是否正确,同时可根据需求修改表属性、添加附加字段,并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图7 源表与目标表映射