检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新委托权限。 更新DLI委托权限（dli_management_agency） 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面，按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限
）的不重叠的连续窗口。比如，5 分钟的滚动窗口以 5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口（在 Table API 中称为滑动窗口）。滑动窗口有一个固定的持续时间（
）的不重叠的连续窗口。比如，5 分钟的滚动窗口以 5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口（在 Table API 中称为滑动窗口）。滑动窗口有一个固定的持续时间（
TIMESTAMP(3) 或嵌套在 JSON 字符串中。 注意： 定义在一个数据源表（ source table ）上的计算列会在从数据源读取数据后被计算，它们可以在 SELECT 查询语句中使用。 计算列不可以作为 INSERT 语句的目标，在 INSERT 语句中，SELECT 语句的 schema
eSQL或MySQL类型的RDS实例。 如何创建RDS实例，请参见《关系型数据库快速入门》中“购买实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与RDS实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
否 Integer 当前页码，默认为第一页。 start 否 Long 用于查询开始时间在该时间点之后的作业。时间格式为unix时间戳，单位：毫秒。 end 否 Long 用于查询开始时间在该时间点之前的作业。时间格式为unix时间戳，单位：毫秒。 job-type 否 String
Filesystem 注意事项 Maxwell应用允许将每个变动消息精确地传递一次。在这种情况下，Flink在消费Maxwell生成的消息时处理得很好。如果Maxwell应用程序在at-least-once模式处理，它可能向Kafka写入重复的改动消息，Flink将获得重复的消息。这
单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 在“SQL编辑器”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“SQL编辑器”。
介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列？ 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式，可以看做DLI计算资源的集合。DLI支持在弹性资源池中创建多个队列，且这些队列可以共享弹性资源池中的资源。
前提条件 请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上，因此要与云搜索服务建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
ARRAY ARRAY 示例 使用Kafka发送数据，通过JDBC结果表将Kafka数据再输出到MySQL数据库中。 参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和K
前提条件 请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上，因此要与云搜索服务建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
true 该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left
ARRAY ARRAY 示例 使用Kafka发送数据，通过JDBC结果表将Kafka数据再输出到MySQL数据库中。 参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和K
的其他部分所使用的表达式。 语法说明 表1 语法说明 参数 是否必选 说明 PARTITION BY 否 将数据行进行逻辑上的分组。 ORDER BY 否 在分区中对数据行进行逻辑排序。 [ONE ROW | ALL ROWS] PER MATCH 否 为每个匹配选择输出汇总或者明细。
的其他部分所使用的表达式。 语法说明 表1 语法说明 参数 是否必选 说明 PARTITION BY 否 将数据行进行逻辑上的分组。 ORDER BY 否 在分区中对数据行进行逻辑排序。 [ONE ROW | ALL ROWS] PER MATCH 否 为每个匹配选择输出汇总或者明细。
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark
pr非常量，则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法，本文为您提供
update_time 否 Long 作业更新时间，毫秒数。 请求示例 更新已有的SQL作业，更新后的作业名称为myjob，以共享模式运行在testQueue上。 { "name": "myjob", "desc": "这是我的第一个作业", "queue_name":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
