检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
- 后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。
选择“当前文件夹”,采集任务仅采集OBS路径中设置的文件夹下的对象。 选择“当前文件夹和所有子文件夹”,采集任务会采集OBS路径中设置的文件夹下所有的对象,包括其子文件夹下的对象 采集内容 选择待采集数据的采集内容。 选择“文件夹和对象”,采集任务采集文件夹和对象。
MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 对象存储 OBS 支持 支持 - 文件系统 FTP、SFTP 支持
数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。
DateUtil内嵌对象 DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。 方法 表1 方法说明 方法 描述 示例 String format(Date date, String pattern) 将Date类型时间按指定pattern格式为字符串。
total 否 Integer 通知记录数量。 表4 AlarmInfo数据结构 参数名 是否必选 参数类型 说明 alarm_time 否 Long 告警通知时间。 job_name 否 String 作业名称。
Job内嵌对象 Job为作业对象,提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。
fromJobConfig.fileFilter 否 String 文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv,*.txt”。
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。
数据质量运维管理操作处理&记录 功能介绍 该接口用于数据质量监控实例的问题处理,在控制台上可通过“更多>处理&记录”进入问题处理界面。 调用方法 请参见如何调用API。
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 paths Array of LayerPath objects 路径对象。 表5 LayerPath 参数 参数类型 描述 catalog_id String 目录ID编号。
添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。
添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。
状态码 状态码 描述 200 Success,返回data数据是 BatchOperationVO对象,批量对象在BatchOperationVO.group属性中。
状态码 状态码 描述 200 Success,返回data数据是 BatchOperationVO对象,批量对象在BatchOperationVO.group属性中。
管理中心操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。
表3 请求Body参数 参数 是否必选 参数类型 描述 manager_type 否 String 管理员类型, USER:用户, USER_GROUP:用户组 manager_id 否 String 管理员id, 管理员类型为用户时, 请传入iam用户id; 管理员类型为用户组时
Env内嵌对象 Env内嵌对象提供了获取环境变量值的方法。 方法 表1 方法说明 方法 描述 示例 String get(String name) 获取指定名称环境变量值。
可以查看本地下载任务和异步转储任务的文件名、操作人,操作时间,操作类型,任务状态,OBS路径。 对于转储任务下载失败的记录可以查看记录。 单击“操作”列的,可以从OBS路径下载数据。 单击“操作”列的,可以删除已下载和转储的记录。