检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。
Task发出的记录总数 flink_taskmanager_job_task_numRecordsOutPerSecond Task每秒发出的记录总数 flink_taskmanager_job_task_operator_numRecordsIn Operator收到的记录总数 fl
配置队列的基础配置,具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名称 参数说明 名称 弹性资源池添加的队列名称。 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
n内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。
from_hex('FFFF'); -- ff ff to_big_endian_64(bigint) → varbinary 将bigint类型的数字编码为64位大端补码格式。 select to_big_endian_64(1234); _col0
表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表 资源类型 权限类型 Database ALL ALTER DROP DESCRIBE LIST_TABLE LIST_FUNC CREATE_TABLE
过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“规格变更中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。
隐私安全。 数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务,创建、检索、更新、删
split_cursor表值函数可以将一行转多行,一列转为多列,仅支持在JOIN LATERAL TABLE中使用。 表1 split_cursor表值函数表 函数 返回值类型 描述 split_cursor(value, delimiter) cursor 将字符串value按delimiter分隔为多行字符串。
-> bigint 按位无符号右移,返回x右移y个位置的值。当x为tinyint、smallint、int时,返回int类型;当x为bigint时,返回bigint类型 select shiftrightunsigned(8,3); -- 1 sign(x) → [same as input]
cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中,从而实现最小化提交,避免依赖包与flink内核中依赖包冲突: 仅Flink 1.15版本支持Flink Jar作业最小化提交,通过在运行优化参数中配置flink.dli.job.jar.minimize-submission
6; -- null HetuEngine中,value,min和max 三个参数在between和not between中必须是同一数据类型。 错误示例:'John' between 2.3 and 35.2 BETWEEN等价写法示例: SELECT 3 BETWEEN 2 AND
数量。 图1 规格变更扩容 确定费用后,单击“提交”。 扩容任务提交后,可以选择“作业管理 > SQL作业”,查看“SCALE_POOL”类型SQL作业的状态。 如果作业状态为“规格变更中”,表示弹性资源池规格正在扩容中。等待作业状态变为“已成功”表示当前变更操作完成。 弹性资源池缩容
'monday');-- 2019-09-16 numtoday(integer) -> BIGINT 描述:将传递的整数值转换为day类型,例如BIGINT类型。 SELECT numtoday(2);-- 2 父主题: SQL函数和操作符
结果表:按商品类别统计订单销售金额数据。 作业首先从订单数据源表读取实时订单数据,将订单数据流与商品商品类别信息维表关联起来,然后聚合统计订单总额,最后将统计结果写入结果表。 本例中订单表作为驱动源表输入,商品类别信息表作为静态维表,统计结果表作为作业最终输出。 Connector支持列表
group by id。 Flink中支持字段类型范围为:string、tinyint、smallint、int、long、float、double、date、timestamp、decimal以及Array。 其中Array中的数据类型仅支持int、bigint、string、float、double。
REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致,可能会因为varchar类型不兼容,导致视图查询失败。 例如:使用Spark 3.x版本创建的表,建议您使用Spark 2.x创建相应的视图。 示例 先通过对stud
Flink1.7版本停止服务(EOS)公告 公告说明 华为云于2022年12月31 00:00(北京时间)将DLI Flink 1.7版本停止服务(EOS)。 影响 DLI Flink 1.7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标
服务韧性 DLI通过流量限制、跨AZ容灾、备份恢复等技术方案,保障数据的持久性和可靠性。 流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备