检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 复制作业 在弹出的“另存为”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。 单击“确定”,复制作业。
图1 复制脚本 在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 脚本名称 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 说明: 复制后的脚本名称不能和原脚本名称相同。 选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200 表4 响应Body参数
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Resource参数说明 参数名 是否必选 参数类型 说明 name 是 String 资源名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 type 是 String 资源类型,包含: archive file jar location
Content-Type 消息体的类型(格式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。 是 application/json;charset=utf8 Content-Length 请求body长度,单位为Byte。
Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线,且长度为1~64个字符。 DLI队列 是 选择DLI队列。 Spark版本 否 2.3.2 2.4.5 3.1.1
队列为最高优先级。 Spark作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。
0-LTS.1及以上版本。 Flink作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。
Trigger节点的ID。当新增一个Http Trigger节点,系统会自动生成一个节点ID,该ID在当前工作空间中唯一,且无法修改。 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 最长等待时间 是 HTTP消息的最长等待时间。若
说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符,不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如
CONDITION_TYPE_LE:小于等于 CONDITION_TYPE_LIKE:模糊查询如:%like% CONDITION_TYPE_LIKE_L:模糊查询如:%like CONDITION_TYPE_LIKE_R:模糊查询如:like% 表9 ApiResponsePara 参数 参数类型
果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 否 String API名称,该参数为模糊匹配。 create_user
说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符,不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如
输入Flink作业名称。 系统支持Flink作业名称按照工作空间-作业名称格式自动填入。 作业名称只能包含英文字母、数字、中划线和下划线,且长度为1~64个字符,不能包含中文字符。 MRS集群名 是 选择MRS集群名称。 说明: 单任务Flink Jar目前支持的MRS集群版本是MRS
配置调度依赖后,可以保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataArts Studio通过节点运行的状态识别到上游表的最新数据已产生,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。 在配置依赖关系时,支持配置同周期的依赖和上一周期的依赖。
在弹出的“重命名作业名称”页面,配置新作业名。 图3 重命名作业名称 表1 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 单击“确定”,重命名作业。 父主题: (可选)管理作业
k 24小时制(1~24)的小时 24 K 12小时制(0~11)的小时 10 z 时区 Eastern Standard Time ' 文字定界符 无示例 " 单引号 无示例 日期和时间模式一般在DateUtil内嵌对象和Job内嵌对象中使用,更多日期和时间模式的使用举例,请参
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码,以及如何获取DataArts Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST
在弹出的“新建集成作业”页面,配置如表1所示的参数。 图3 配置集成作业参数 表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型,须选择离线处理。 离线处理:对已收集的大量数
CHAR 英文字母变为x,数字变为n 字母数字变为X,后面4位保留(定长有空格) 字母数字变为X,前面4位保留(定长有空格) 全部被hash到64长度 中文无变化且占一位,字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y VARCHAR 英文字母变为x,数字变为n