检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
表的最新快照的大小(以字节为单位) properties 为此表设置的所有属性 minReaderVersion 可以读取该表的最低Reader版本 minWriterVersion 可以写入该表的最低Writer版本 父主题: Delta DDL语法说明
SELECT 3 < 2 OR 3 > 6; -- false IS NULL和IS NOT NULL 用于判断值是否为空,所有数据类型都可以用于此判断。 SELECT 3.0 IS NULL; -- false IS DISTINCT FROM和IS NOT DISTINCT FROM
)包围起来。 该命令仅支持操作OBS表,不支持对DLI表进行操作。 partition_filtercondition 分区筛选条件。具体可以为以下格式: <分区列名> <运算符> <分区列比较值> 例如:start_date < '201911' 示例1:<partition_filtercondition1>
1000 Interger 每个批量请求的最大缓冲操作数。可以设置'0'为禁用它。 sink.bulk-flush.max-size 否 2mb MemorySize 每个批量请求的缓冲操作在内存中的最大值。单位必须为 MB。 可以设置为'0'来禁用它。 sink.bulk-flush
段开放)。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0.0.0.0/0,端口8000,仍然无法连接,继续排查子网配置。客户的DWS子网关联了网络A
“default”为内置数据库,不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台,单击左侧导航栏中的“
(无界或有界) 到 CURRENT ROW 范围内的窗口、FOLLOWING 所描述的区间并未支持。 ORDER BY 必须指定于单个的时间属性。 可以在一个 SELECT 子句中定义多个 OVER 窗口聚合。然而,对于流式查询,由于目前的限制,所有聚合的 OVER 窗口必须是相同的。 OVER
在“资源管理 > 队列管理”页面,单击左上角“创建消息通知主题”。 图1 创建消息通知主题 选择队列,单击“确定”。 选择队列时,可以选择单个队列,也可以选择所有队列。 如果单个队列和所有队列的终端不一致,当选择了单个队列,同时选择了所有队列进行订阅时,在所有队列的消息通知中将不包含该队列的消息。
x及以上版本支持SQL防御功能。 同一个队列,同一个动作的防御规则仅支持创建一条。 每条规则最多可以关联50个SQL队列。 每个项目最多可以创建1000条规则。 创建SQL防御规则 您可以在DLI SQL防御界面对指定SQL队列添加SQL防御规则,系统会对触发规则的SQL请求进行提示、拦截或熔断操作。
如果使用静态索引,则索引选项值应为纯字符串,例如myusers,所有记录都将被写入myusers索引。 如果使用动态索引,可以使用{field_name}引用记录中的字段值以动态生成目标索引。您还可以使用 {field_name|date_format_string}将TIMESTAMP、DATE和T
详细的弹性资源池创建流程可以参考创建弹性资源池并添加队列。 参数填写完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成弹性资源池创建。 弹性资源池创建任务提交后,会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态,当状态显示为“可使用”时表示资源池可以正常使用。 步骤二:添加队列到弹性资源池
参数类型 说明 str 是 STRING 待拆分的字符串。 separator 是 STRING STRING类型常量。拆分用的分隔符,可以是一个字符,也可以是一个字符串。 start 是 STRING BIGINT类型常量,必须大于0。表示返回段的开始编号(从1开始)。 end 否 BIGINT
说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格,不能以_sys_开头。 标签值:在输入框中输入标签值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@
指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过
指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过
INSERT OVERWRITE命令用于覆盖源表中已有的数据。 INSERT INTO命令可以并行执行,INSERT OVERWRITE命令只有在分区表下不同的插入到不同静态分区才可以并行。 INSERT INTO命令和INSERT OVERWRITE命令同时执行,其结果是未知的。
读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 timeout 连接redis的超时时间,单位ms,默认值2000(2秒超时)。
指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过
Flink依赖项(以flink-开头)和第三方库(如Hadoop、Hive、Hudi、Mysql-cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中,从而实现最小化提交,避免依赖包与flink内核中依赖包冲突: 仅Flink 1.15版本支持Flink