检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Jar单任务作业中使用参数模板。 在脚本中引用脚本模板时,SQL语句的写法为@@{脚本模板}。 前提条件 已创建模板。如果模板还未创建,请参见配置模板进行创建。 引用模板案例 Flink SQL脚本可以引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink
描述,长度不能超过255个字符。 directory 是 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 表4 DependPackage参数说明 参数名 是否必选
createTime 是 Long 作业的创建时间。 startTime 否 Long 作业的启动时间。 endTime 否 Long 作业配置的结束时间。 lastInstanceStatus 否 String 作业最近一次运行实例状态,当jobType为BATCH时才有本字段。
择“原子指标”页签进入原子指标页面。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数,然后单击“发布”。 图1 新建原子指标 表1 新建原子指标参数说明 参数名称 说明 *指标名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig.whereClause”参数,CDM根据条件选择性删除目标表的数据。 toJobConfig.whereClause
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
result_status String 是否成功。 content_length Integer 内容大小。 connection String 连接状态。 cache_control String 缓存控制(固定值)。 content_type String 内容类型 (固定值)。 date
Studio实例ID,获取方法请参见实例ID和工作空间ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每次查询的数据连接条数的限制量,默认20。 offset 否 Integer 数据偏移量,默认0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
t-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 dw_id 否 String 数据连接id。 permission_actions 否 Array of strings 权限操作列表。 响应参数 状态码: 200 表4 响应Body参数
单实例下回收站中的权限集和动态脱敏策略分别最多保存1000条数据,超过1000条后会自动清理更早删除的数据。 数据还原操作时,如果“同名处理方式”参数配置为“名称添加时间戳”,则如果同名会在还原数据的原名称后添加时间戳信息(原名称_13位时间戳)。如果添加时间戳后总长度超过64,会对原名称进
数据API调用;当使用其他认证方式时,可以通过API调用工具或浏览器调用。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式
V格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小
业。 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。 审批开关的配置请参见审批中心。 resources 否 List<JobResourceInfo> 如需替换资源,需要填写该字段,包含替换的资源名和资源类型和替换后的资源名。参考表5。
V格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小
DROP,ALTER,INDEX,LOCK,READ,WRITE cluster_id 否 String 集群ID,获取方法请参见查询单个数据连接信息。 cluster_name 否 String 集群名称。 datasource_type 否 String 数据源类型 HIVE数据源
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。
用户组列表,用户组名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 sync_status
选择IAM应用类型,IAM认证方式的API只能授权给IAM类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts Studio实例下仅能创建一个,各工作空间之间均可见。 APP:APP类型应用为APP认证
data,统一的返回结果的最外层数据结构。 表6 data 参数 参数类型 描述 value Array of CustomizedFieldsVO objects 数据连接信息数组 表7 CustomizedFieldsVO 参数 参数类型 描述 id String 编码,ID字符串。 name_ch String