检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
板外,您也可关联在新建数据质量规则中新建的自定义模板。 当“规则类型”选择“字段级规则”,规则模板名称选择“正则表达式校验”或“正则表达式校验忽略Null”时,正则表达式的规则长度最大支持1024个字符。 版本 仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则
*表名称 设置表名称。只允许除\、<、>、%、"、'、;及换行符以外的字符。 *表英文名称 设置表英文名称。只能包含英文字母、数字和下划线,且以dws_开头。 *资产责任人 在下拉框中选择资产责任人,可以手动输入名字或直接选择已有的责任人。 高级配置 设置自定义项,以对表进行描述。
码表的英文名称。只能包含英文字母、数字、下划线,且以英文字母开头。 表描述 码表的描述信息。支持的长度0~600个字符。 *字段名称 字段名称。只能包含中文、英文字母、数字、左右括号、空格、中划线和下划线,且以中文或英文字母开头。 *字段编码 字段编码。只能包含英文字母、数字、下划线,且以英文字母开头。 *字段数据类型
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。 单击输入框后面
板外,您也可关联在新建数据质量规则中新建的自定义模板。 当“规则类型”选择“字段级规则”,规则模板名称选择“正则表达式校验”或“正则表达式校验忽略Null”时,正则表达式的规则长度最大支持1024个字符。 版本 仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则
fromJobConfig.regexSeparator 否 Boolean 是否使用正则表达式分割字段,当文件格式为“CSV_FILE”时此参数有效。 fromJobConfig.regex 否 String 正则表达式,当选择使用正则表达式分割字段时,此参数有效。 fromJobConfig.fieldSeparator
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 表2 Flink SQL作业-属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_EXAMPLE 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。 单
fromJobConfig.regexSeparator 否 Boolean 是否使用正则表达式分割字段,当文件格式为“CSV_FILE”时此参数有效。 fromJobConfig.regex 否 String 正则表达式,当选择使用正则表达式分割字段时,此参数有效。 fromJobConfig.firstRowAsHeader
图4 添加逻辑表 逻辑表名:即最终写入到DWS的表名。 源库过滤条件:支持填入正则表达式,在所有Mysql实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表。 已添加的逻辑表支持预览,单击操作列的预览即可。
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的
导入成功的识别规则。 rule_name String 数据识别规则名称。 rule_type String 数据识别规则类型 REGEX 正则表达式 KEYWORD 关键字 rule_desc String 规则描述。 rule_name_en String 英文名称。 rule_desc_en
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。 单击输入框后面
配置条件分支算子 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。
应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数
ok.txt 过滤类型 满足过滤条件的路径或文件会被传输,该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 - 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时,用通配符过滤目录,符合过滤器规则的目录,允许进行迁移。支持配置多个路径,中间使用“