检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华东-上海二 项目 每个区域默认对应一个项目,由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格 选择弹性资源池规格。 标准版 CU范围 弹性资源池最大最小CU范围。 64-64 网段 规划弹性资源池所属的网段。
`obs://tablePath` LIMIT 1; 系统响应 返回表的历史操作记录,结果指标代表含义见下表。
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述:返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述:同strpos() 函数。 日期函数 本节中的函数使用与
Hudi Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件),减轻存储压力,提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL(设置如下参数,随后执行任意写入SQL
数据操作语句DML SELECT INSERT INTO 集合操作 窗口 分组聚合 Over聚合 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.15语法参考
系统响应 可以确认任务状态成功,运行QUERY语句查看表中写入的数据。 父主题: Hudi DML语法说明
test_delta_parts1 PARTITION(dt) select id,name,dt from test_delta1; -- insert overwrite table insert overwrite table delta_table0 select 1, 'a1', 20; 系统响应
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.10语法参考
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.12语法参考
Upsert Kafka 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。
Hudi Compaction操作说明 什么是Compaction Compaction用于合并mor表Base和Log文件,Compaction包含两个过程Schedule和Run。Schedule过程会在TimeLine里生成一个Compaction Plan,这个Compaction
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException: ERROR: tuple concurrently updated 问题现象 客户对DWS执行并发insert overwrite操作,报错:org.postgresql.util.PSQLException
回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序 注意事项 目前仅支持根据时间属性进行排序 示例 对订单根据订单时间进行升序排序 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
Over聚合 OVER 聚合通过排序后的范围数据为每行输入计算出聚合值。和 GROUP BY 聚合不同, OVER 聚合不会把结果通过分组减少到一行,它会为每行输入增加一个聚合值。 更多介绍和使用请参考开源社区文档:Over聚合。 语法格式 1 2 3 4 5 6 7 SELECT
INSERT INTO 本节操作介绍使用INSERT INTO 语句将作业结果写入Sink表中。 写数据至一个Sink表 语法格式 1 2 INSERT INTO your_sink SELECT ... FROM your_source WHERE ... 示例 本例定义了两个表
如果需要对指定分区进行clustering,参考格式:predicate => "dt = '2023-08-28'" 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明