检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表2 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能包含六种字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。作业名称不能重复。 nodes 是 List<Node> 节点定义,参考表3
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能包含六种字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。作业名称不能重复。 nodes 是 List<Node> 节点定义,参考表4。
空间为必填参数,否则会报错。 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能包含六种字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。作业名称不能重复。 nodes 是 List<Node> 节点定义,参考表4。
使用按日历进行自定义工作日期进行周期调度,如果非工作日,作业会进行空跑。例如作业周期调度、补数据。 配置好的调度日历,如果工作日期进行变更,已经在执行的作业实例无法生效,还没生成的作业实例可以立即生效。 监听OBS 打开监听OBS开关后,系统会自动监听OBS路径是否有新作业文件。关闭开关后不再监听OBS路径。
en认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 否 String 数据密级名称。名称应该唯一,只能由英文字母、数字、下划线、汉字构成。 description 否 String 数据密级描述。 响应参数 状态码: 200 表4 响应Body参数
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200 表3 响应Body参数
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
Migration作业运行于资源组提供的资源之上,因此资源组与数据源之间必须保证连通,才能实现对数据的实时ETL(抽取(Extract)、清洗转换(Transform)、加载(Load))。 集成作业创建后,选定了数据源端、目的端及资源组后,需要检测资源组与两个数据源之间的连通性。
在IAM服务左侧导航窗格中,进入“权限管理 > 权限”,单击页面中的“创建自定义策略”。 图1 单击创建自定义策略 在弹出的创建自定义策略页面中,切换到JSON视图,填写MRS权限管理所需的IAM相关自定义策略后,单击“确定”完成IAM相关自定义策略创建。 创建自定义策略时,暂不支持同时
的最大线程数。 脏数据 脏数据是对于业务没有意义或者格式非法的数据。例如,源端是VARCHAR类型的数据写到INT类型的目标列中,导致因为转换不合理而无法写入的数据。 作业(数据开发) 在数据开发中,作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。 节点 节点用于定义对数据执行的操作。例如,使用“MRS
消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连接名称,只能包含四种字符:英文字母、数字、中划线和下划线,且长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含: DWS DLI SparkSQL