检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通队列弹性扩缩容 前提条件 新创建的按需计费队列需要运行作业后才可进行弹性扩缩容。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 参数说明 参数名称 是否必选 参数类型 说明 name 是 String 作业名称。长度限制：1-57个字符。
数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目，由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格
resources参数说明 参数名称 是否必选 参数类型 说明 name 否 String 资源名称。也支持指定OBS路径，例如：obs://桶名/包名。 type 否 String 资源类型。 表5 groups参数说明 参数名称 是否必选 参数类型 说明 name 否 String 用户组名称。 resources
表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。具体可以从新建SQL作业中获取。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明
数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目，由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格
_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名，名称只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能超过128字符。
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle
JOIN是求笛卡尔积的标准方式。 注意事项 所要进行JOIN连接的表必须是已经存在的表，否则会出错。 示例 返回student_info与course_info两张表中学生姓名与课程名称的所有组合。 1 2 SELECT student_info.name, course_info.courseName
Spark-submit参数列表 参数名称 参数值 描述 --class <CLASS_NAME> 提交的Java/Scala应用程序的主类名称。 --conf <PROP=VALUE> Spark程序的参数，可以通过在conf目录下的spark-defaults.conf中配置。如果命令中与配置文件中同时配置，优先使用命令指定的参数值。
图1 自定义委托操作流程 约束与限制 自定义委托名称不可与系统默认委托重复，即不可以是dli_admin_agency、dli_management_agency、dli_data_clean_agency。 允许DLI按表生命周期清理数据的委托名称必须为dli_data_clean_agency。
URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。具体可以从新建Flink Jar作业中获取。 请求消息 表2 参数说明 参数名称 是否必选 参数类型
表2 参数说明 参数 参数说明 类型 选择Password。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password
nection 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 job_name 否 String 批处理作业的名称。 job-id 否
e 参数说明 表1 URI参数 参数名称 是否必选 说明 project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String
order 否 String 指定队列排序方式。 默认为queue_name_asc（队列名称升序），支持queue_name_asc（队列名称升序）、queue_name_desc（队列名称降序）、cu_asc（CU数升序）、cu_desc（CU数降序）四种排序。 tags 否 String
填写Kafka认证信息，详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择Kafka_SSL。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 Truststore路径
项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 sql 是 String 新增的SQL模板。 sql_name 是 String 新增SQL模板名称，该名称在当前工程下必须唯一。 description 否 String 新增SQL模板的描述信息，可以为空字符串。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
