检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。 单击输入框后面
单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务规则,此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务规则
DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 DWS:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 MRS Hive:只能包含英文字母、数字、“_”,只能以数字和字母开头,不能全部为数字,且长度为1~128个字符。
也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的
0 60 过滤类型 满足过滤条件的路径或文件会被传输,该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 - 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时,用通配符过滤目录,符合过滤器规则的目录,允许进行迁移。支持配置多个路径,中间使用“
新建时间限定参数说明 参数名称 说明 *限定名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *限定英文名称 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。
的导入到数据库,就需要在源端开启“使用包围符”,这样包围符内的值的,会写入一个字段内。 使用正则表达式分隔字段 这个功能是针对一些复杂的半结构化文本,例如日志文件的解析,详见使用正则表达式分隔半结构化文本。 首行为标题行 这个参数是针对CSV文件导出到其它地方的场景,如果源端指定
如果字符串仅包含Unicode字符或数字,返回布尔值true,否则返回false。例如“ab2c”中仅包含Unicode字符和数字,返回true。 表达式:StringUtils.isAlphanumeric(value) 如果字符串仅包含Unicode字符、数字或空格,返回布尔值true
是否为系统规则。自定义的编码规则系统预置为否,不能修改。 编码规则 采用前缀+数字码的方式,不能修改。 前缀 可以是“英文字符”+“数字”的方式,但不能以数字结尾。支持修改。 数字码 支持顺序码和随机码两种方式。 起始码 数字码范围的起始值。 结束码 数字码范围的终止值。 编码示例 根据前缀动态修改后,可以更新展示。
的导入到数据库,就需要在源端开启“使用包围符”,这样包围符内的值的,会写入一个字段内。 使用正则表达式分隔字段 这个功能是针对一些复杂的半结构化文本,例如日志文件的解析,详见使用正则表达式分隔半结构化文本。 首行为标题行 这个参数是针对CSV文件导出到其它地方的场景,如果源端指定
表3 作业参数配置 功能 说明 变量 新增 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串,例如:str1。 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为${参数名称}。
如果字符串仅包含Unicode字符或数字,返回布尔值true,否则返回false。例如“ab2c”中仅包含Unicode字符和数字,返回true。 表达式:StringUtils.isAlphanumeric(value) 如果字符串仅包含Unicode字符、数字或空格,返回布尔值true
节点概述 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时,通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。
在弹出的“新建作业”页面,配置如所示的参数。单击“确定”,创建作业。 表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型。 批处理作业:按调度计划定期处理批量数据,主要用于实
ency表示一致性。 queue String DLI队列。 regular_expression String 当规则模板为正则表达式校验时的正则表达式。 template_arguments String 模板参数。 weight Integer 规则权重。 calculation_range
Studio和沃土是什么关系? 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。 父主题:
String 维度。 queue String DLI队列。 regular_expression String 当规则模板为正则表达式校验时的正则表达式。 template_arguments String 模板参数。 weight Integer 规则权重。 calculation_range
状态码 状态代码由三位数字组成,第一个数字定义了响应的类别,有五种可能取值: 1xx:指示信息,表示请求已接收,继续处理。 2xx:成功,表示请求已被成功接收、理解、接受。 3xx:重定向,要完成请求必须进行更进一步的操作。 4xx:客户端错误,请求有语法错误或请求无法实现。 5
参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以看到“过滤类型”参数,该参数可选择:通配符或正则表达式。 参数原理:“过滤类型”选择“通配符”时,CDM就可以通过用户配置的通配符过滤文件或路径,CDM只迁移满足指定条件的文件或路径。 配置样例: