DLI中的Spark组件与MRS中的Spark组件有什么区别? 怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据? 区域和可用区 全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例(Demo) DLI是否存在Apache Spark
授权DLI读写OBS的权限并不包含在的DLI委托dli_management_agency中。需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。 创建自定义委
求,12M以上的请求请使用Token认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
message 否 String 系统提示信息,执行成功时,信息为空。 job_id 否 String 返回作业的ID,可用于获取作业状态和作业结果。 job_type 否 String 作业类型。 DDL DCL IMPORT EXPORT QUERY INSERT job_mode
成功返回200。 响应参数 无响应参数。 示例 请求样例: None 成功响应样例: None 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,详细介绍请参见错误码。 父主题: 集群相关API(废弃)
计费相关问题 DLI的计费模式有哪些? 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗? 数据湖队列什么情况下是空闲状态? 怎样排查DLI计费异常? 已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费?
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 响应消息 表4 响应参数 参数名称
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 value 是 String 值。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@。 资源标签可以为空。 响应参数 无
参数类型 说明 id 否 Long 扩缩容计划的ID编号。 plan_name 否 String 队列扩缩容计划名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 target_cu 否 Integer 队列扩缩容计划CU的目标值。 start_hour 否
天到end_time的数据(end_time最大不能大于当前时间30天)。 查询当前时间点前15天到当前时间点的数据(start_time和end_time同时为空)。 end_time 否 Long end_time用于查询扩缩容历史的结束时间,该时间点不能小于开始时间,不能大
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 value 是 String 值。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@。 响应参数 无 请求示例 {
采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP。 不同服务不同区域的Endpoint不同,您可以从地区和终端节点中查询所有服务的终端节点。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud
状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
true, "message" : "" } 状态码 状态码 描述 200 OK 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 弹性资源池相关API
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改作业模板的名称和模板内容。 { "name": "test1", "body":"ss" } 响应示例 { "is_success":
筛选条件,目前只支持“=”条件筛选,例如:name=name1,表示筛选出分区中name=name1的数据,name为分区列名称,name1为分区列的值。key和value不区分大小写。 例如:GET /v1.0/{project_id}/databases/{database_name}/table
状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(推荐)
在SparkUI页面还可以查看Spark作业原始资源配置(只对新集群开放)。 在SparkUI页面,单击“Environment”,可以查看Driver信息和Executor信息。 图3 Driver信息 图4 Executor信息 父主题: Spark作业开发类
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 values 是 Array of strings 值列表。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@。 value可为空数组但不可缺省。
清理使用。该委托需新建后自定义权限,但委托名称固定为dli_data_clean_agency。 请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围: OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version": "1.1",
您即将访问非华为云网站,请注意账号财产安全