检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 APP认证方式的API调用前必须先完成通过应用授权APP认证方式API或申请API授权操作。 如果API中入参定义了Static参数,则在API授权时应配置Static参
”的遍历(即第一次循环为1,第二次循环为3,第三次循环为2)。 图1 for each节点 For Each节点与EL表达式 要想使用好For Each节点,您必须对EL表达式有所了解。EL表达式用法请参考EL表达式。 下面为您展示For Each节点常用的一些EL表达式。 #{Loop.dataArray}
PARQUET格式:以PARQUET格式解析源文件,一般都是用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件迁移场景,比如OBS到OBS。 CSV格式 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最
单击“导入字段”,可以选择“从指标导入”、“从维度属性导入”或“从数据指标导入”,可以导入所需的字段信息。 从维度属性导入字段时,指标引用的维度属性,必须先关联指标/导入指标字段,再关联维度,才能够从维度属性导入字段。 从指标导入字段时,支持模糊搜索。 单击“数据标准稽查”,可以对汇总表的属
从星期日开始算起。 表12 DependJob数据结构说明 参数名 是否必选 参数类型 说明 jobs 是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。
用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts Studio实例。
”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value Object 参数值,参数名对应的值,必须填写为字符串。 type String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs
本对比和发布日志信息。 删除指标定义 如果您已不再需要某个指标定义,可以删除该指标定义。如果待删除的指标定义已发布,则无法执行删除操作,您必须先将该指标定义下线后,才能执行删除操作。 在数据指标控制台,单击左侧导航树中的“指标定义”,进入指标定义页面。 在维度列表中找到需要删除的
用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts Studio实例。
主键 选中时为主键。 说明: 数据连接为MRS Spark连接(通过MRS Spark连接支持MRS Hudi数据源)时,由于Hudi的限制,必须存在字段主键才能数据落库成功,否则会导致表同步失败。 分区 选中时为分区字段。 不为空 是否限制该字段不为空。 标签 单击按钮可以为表字段添加标签。
从星期日开始算起。 表13 DependJobs数据结构说明 参数名 是否必选 参数类型 说明 jobs 是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。
从星期日开始算起。 表13 DependJobs数据结构说明 参数名 是否必选 参数类型 说明 jobs 是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。
监听间隔,可设置为1-60之间,单位为分钟。 超时时间,可设置为1-1440之间,单位为分钟。 偏移量 偏移量的单位为天。 输入偏移量的值。输入值必须在-366到366之间。默认为1。 当工作空间模式为业务日期模式时,偏移量设置为1时,则表示处理的是昨天的业务数据,偏移量设置为-1时,则
空间权限集和权限集在配置上都是将用户与权限直接关联,二者使用上的区别在于: 空间权限集是没有父权限集的顶层权限集,一般每个工作空间下创建一个即可;而权限集必须关联一个空间权限集或其他权限集作为其父权限集,可以新建多个,用于给不同使用场景的用户关联不同的权限。 空间权限集主要用于确定工作空间权限范
支持提示、一般、严重和致命四种级别,作业级别决定发出通知消息的模板样式。 问题处理人 选择质量作业的问题处理人。 超时时间 输入超时时间。输入值必须在5到1440之间。单位为分钟。该参数为空或者默认1440分钟时,超时时间系统默认为24小时,支持修改。 单击“下一步”,进入规则配置页面
dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id 是 String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name 是 String 汇总表所在的数据库名。 schema 否 String 汇总表所在的Schema名,DWS类型必须填写。 dw_name 否 String
看SQL执行结果。系统支持可以预览所调试的SQL信息。 Flink SQL作业调试仅支持MRS集群,进行调试前请先选择MRS集群。OBS桶必须选择并行文件桶,可以在工作空间进行默认配置,请参见Flink调试OBS桶,支持在Flink SQL作业调试时修改。 查看脚本执行结果时,双
通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的用户名。
通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的用户名。
新建表/文件迁移的作业 选择源连接、目的连接: 作业名称:用户自定义任务名称,名称由中文、数字、字母、中划线、下划线、点号,且首字符不能是中划线或点号组成,长度必须在1到240个字符之间,例如“oracle2rds_t”。 源连接名称:选择待迁移数据的数据源,作业运行时将从此端复制导出数据。 目的连接