检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DLI弹性资源池之间为物理集群隔离,同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池,通过资源物理隔离的方式,保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表
全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 操作前准备 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
/** * 自定义逻辑 * @param s * @return */ public int eval(String s) { return s.hashCode() * factor; } /**
for_test') except DliException as e: print(e) return print(db) “default”为内置数据库,不能创建名为“default”的数据库。 完整样例代码和依赖包说明请参考:Python
batch_job_info) except DliException as e: print(e) return print(batch_job.job_id) while True: time.sleep(3)
context) {} /** * 自定义逻辑 * @param s * @return */ public int eval(String s) { return s.hashCode() * factor; } /** * 可选
注意该字符串的格式必须为"yyyy-MM-dd"格式,否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 TIME 功能描述 将时间字符串以"HH:mm:ss[
tbl_schema) except DliException as e: print(e) return print(table) 完整样例代码和依赖包说明请参考:Python SDK概述。 创建OBS表 DLI提供创建OBS表
group_name) except DliException as e: print(e) return 请求参数说明如下,详细参数使用可以参考Python SDK概述下载样例代码。 kind:资源包类型,当前支持的包类型分别为: jar:用户jar文件
context) {} /** * 自定义逻辑 * @param s * @return */ public int eval(String s) { return s.hashCode() * factor; } /** * 可选
理,适用于大规模数据分析项目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统:Windows 或 Linux DBT是一个基于Python的工具,请确保已安装了Python。 Python 版本:Python
注意该字符串的格式必须为"yyyy-MM-dd"格式,否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 DATE_ADD 功能描述 DATE
作业使用spark组件的版本号,在“feature”为“basic”或“ai”时填写,若不填写,则使用默认的spark组件版本号2.3.2。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数
position]五部分组成。 col_name:新增列名,必须指定。 给嵌套列添加新的子列需要指定子列的全名称: 添加新列col1到STURCT类型嵌套列users struct<name: string, age: int>,新列名称需要指定为users.col1。 添加新列
队列相关API(推荐) 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
') -- '[1,2]' JSON_STRING(ARRAY[1, 2]) JSON_VALUE(jsonValue, path [RETURNING <dataType>] [ { NULL | ERROR | DEFAULT <defaultExpr> } ON EMPTY ]
Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.ru
TRING”数据类型。建表成功后插入测试数据到“array_test”中。操作如下: 创建表。 CREATE TABLE array_test(name STRING, id ARRAY < INT >) USING PARQUET; 插入测试数据。 INSERT INTO array_test