检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
field] ...; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中
location 'obs://bucket/path/data_partition' --指定路径，使用DLI提供的元数据服务时只支持创建OBS表 options( type='mor', --表类型 mor 或者 cow
sql String SQL模板文本。 description String SQL模板描述信息。 owner String SQL模板的创建者。 group String SQL模板分组名称。 请求示例 无 响应示例 { "is_success": true, "message":
的示例。 默认情况下空的input split不创建partition 说明： Spark2.4.x：默认情况下空的input split将创建partition。 Spark3.3.x：默认情况下空的input split不创建partition。 Spark3.3.x时spark
'blackhole'后，单击运行。如果不再报错，则证明系统没有问题，您需要排查确认修改WITH参数是否正确。 表1 支持类别 类别 详情 支持表类型 结果表 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志
Flink作业所需要使用的桶授权信息如下，其中domainId和userId分别为DLI的账号和子账号，bucketName为用户桶名，timeStamp为策略创建时的时间戳。 { "Statement": [ { "Effect": "Allow",
SDK列表 表1 Java SDK列表 类型 说明 OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java
如果search选项有重复且匹配时，会返回第一个值。 示例代码 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表salary，并添加数据，命令示例如下： CREATE EXTERNAL TABLE salary ( dept_id STRING, --
如果对象表是分区表时，insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选，以兼容hive语法。 示例 创建fruit和fruit_copy表： create table fruit (name varchar,price double); create
到DLI。 步骤2：配置Beeline连接Kyuubi：在BI工具中创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION：分区。 LOCATION：分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS
System.out.println(result); } 删除作业模板 DLI提供删除Flink作业模板的接口。您可以使用该接口删除已经创建的作业模板，如果当前模板被引用也允许删除模板。示例代码如下： 1 2 3 4 5 public static void deleteFli
指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 示例代码 示例数据 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表salary，并添加数据，命令示例如下： CREATE EXTERNAL TABLE salary ( dept STRING, -- 部⻔名称
Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。 SQL作业： SQL作业不支持配置引擎版本，需要您重新新建队列执行SQL作业，新创建的队列会默认使用新版本的Spark引擎。 Flink OpenSource SQL作业： 登录DLI管理控制台。 选择“作业管理 > Fl
user_name 否 String 用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。 请求示例 无 响应示例 { "is_success": true,
为了便于理解删除分区语句的使用方法，本节示例为您提供源数据，基于源数据提供删除分区的操作示例。 使用DataSource语法创建一个OBS表分区表。 创建了一个名为student的OBS分区表，表中有学生学号（id），学生姓名（name），学生院系编号（facultyNo）和学生
1000, 500, 200, '2023-11-25 02:10:58', 'update_user_10'); 参考创建Flink OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，并提交运行。该作业模拟从kafka读取数据，并关联hi
服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
} 4. 编译打包后参照https://support.huaweicloud.com/devg-dli/dli_09_0205.html创建Spark Jar作业 父主题： DLI中使用Delta开发作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
