检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明，示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal Confluent Avro CSV Debezium JSON
前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6
指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表logs，并添加数据，命令示例如下： create table logs( cookieid string, createtime string
返回DOUBLE类型的值。 a为NULL，则返回NULL。 示例代码 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表logs，并添加数据，命令示例如下： CREATE TABLE logs ( cookieid string, createtime string
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后，支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。 约束限制 已获取MRS主机信息。请参考怎样获取MRS主机信息
具体参数配置请根据实际环境修改。 创建DLI访问DEW的委托并完成委托授权。 详细步骤请参考自定义DLI委托权限。 在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Spark
File：用户文件。 ModelFile：用户AI模型文件。 状态 创建程序包的状态。 上传中（Uploading）：表示程序包正在上传。 已成功（Finished）：表示程序包已经上传。 已失败（Failed）：表示程序包上传失败。 创建时间 创建程序包的时间。 更新时间 更新程序包的时间。 操作
在列表页面上方的搜索区域，您可以名称和标签筛选需要的增强型跨源连接。 单击查看增强型跨源连接详细信息。 支持查看以下信息： 是否支持IPv6：如果创建增强型跨源连接时您选择的子网是开启IPv6的，则您创建的增强型跨源连接也是支持IPv6的。 主机信息：访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机
pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或
Access Key），表示一组密钥对，用于验证调用API发起请求的访问者身份，与密码的功能相似。用户通过调用API接口进行云资源管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下： 注册并登录华为云管理控制台。
DLI请求条件 您可以在创建自定义策略时，通过添加“请求条件”（Condition元素）来控制策略何时生效。请求条件包括条件键和运算符，条件键表示策略语句的 Condition 元素，分为全局级条件键和服务级条件键。全局级条件键（前缀为g:）适用于所有操作，服务级条件键（前缀为服
面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”。 填写组织名称，单击“确定”。 编写Dockerfile文件。 vi
完整样例代码和依赖包说明请参考：Python SDK概述。 导入数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表中。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表logs，并添加数据，命令示例如下： create table logs( cookieid string, createtime string
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
更新跨源目的端源表后，未同时更新对应跨源表，导致insert作业失败怎么办？ 问题现象 客户在DLI中创建了DWS跨源连接和DWS跨源表，然后对DWS中的源表schema进行更新，执行DLI作业，发现DWS中源表schema被修改为更新前的形式，导致schema不匹配，作业执行失败。
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令，以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
Boolean 在停止作业之前，用户可以选择是否对作业创建保存点，保存作业的状态信息。类型为boolean。 当triggerSavePoint为true时，表示创建保存点。 当triggerSavePoint为false时，表示不创建保存点。默认为false。 响应消息 表3 响应参数说明
anagement_agency中。需要您创建自定义委托，并将委托配置在作业中（使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置）。 了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。
改Hudi表结构，仅支持读Hudi表。 创建Hudi表时，必须且需要正确配置 primaryKey 和 preCombineField，否则存在数据最终表现与预期不一致的风险。 使用由DLI提供的元数据服务时，不支持创建DLI表，只支持创建OBS表，即必须通过LOCATION参数配置表路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
