检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 job_id 否 String 当“force”为“true”时返回的job_id。 queue_name
2，则不填写该参数。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。
以在DLI中创建并管理多个Catalog，用于不同的元数据隔离。 · 数据库：数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。 · 表：表是数据库最重要的组成部分
list_queues() except DliException as e: print(e) return for queue in queues: print(queue.name) 完整样例代码和依赖包说明请参考：Python
return; } String input = args[0].toString(); if(StringUtils.isEmpty(input)){ return; }
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。HBase支持消息数据、报表
风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
auth_mode, region=region, project_id=project_id,ak=ak, sk=sk) return dli_client 参数说明与获取方式 参数说明 ak：账号 Access Key sk：账号 Secret Access Key
批处理作业所在队列。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。 req_body 否 String 请求参数详情。
在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 from __future__ import print_function from pyspark.sql.types import StructType, StructField
者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queue_name 否 String 新增队列的名称。 说明： 队列名称不区分大小写，系统会自动转换为小写。 请求示例 创建一个名称为queue1的通用类型的专属队
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构，计算集群基于K8s资源调度和故障切换机制，在系统故障时，支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制，在开启自动重启功能后，当作业出现异常时将自动重启恢复作业。 父主题： 安全
风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
} LOG.debug(result); return result; } else { return "{}"; } } public static void main(String[]
} LOG.debug(result); return result; } else { return "{}"; } } public static void main(String[]
ce非BIGINT类型或小于等于0时，返回报错。 source、pattern、start_position、occurrence或return_option值为NULL时，返回NULL。 示例代码 返回a。 select regexp_substr('a1b2c3', '[a-z]');
sk " + sk.length() + " token " + securityToken.length()); return value + "_demo"; } } Flink Jar作业获取作业委托凭证 package com.huawei.dli
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queues 否 Array of Object 队列信息。具体请参考表4。 表4 queues参数
catch”异常捕获，否则可能会造成包冲突，导致函数功能异常。 环境准备 在进行UDF开发前，请准备以下开发环境。 表1 UDF开发环境 准备项 说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ I
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
