检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Archive用户清理Hudi表的元数据文件(位于.hoodie目录下,格式为 ${时间戳}.${操作类型}.${操作状态},比如20240622143023546.deltacommit.request)。对Hudi表进行的每次操作都会产生元数据文件,而元数据文件过多会导致性能问题,所以元数据文件数量最好控制在1000以内。
select_statement 格式 无。 说明 SELECT基本语句,即查询语句。 父主题: 标示符
cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建,则检查确保
来将多个SELECT语句的结果集合并成单个结果集。 UNION UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL | DISTINCT] query ALL和DISTINCT表示是否返回包含重复的行。ALL返回所有的行;D
Studio数据开发页面 步骤1:创建数据库和表 开发创建数据库和表的SQL脚本 数据库和表是SQL作业开发的基础,在执行作业前您需要根据业务场景定义数据库和表。 本节操作介绍提交SQL脚本创建数据库和表的操作步骤。 在DataArts Studio数据开发页面,选择左侧导航栏的“数据开发
EXCEPT_KEY:记录的value部分包含schema的所有内容,定义为主键的字段除外。 properties.* 否 无 String 该选项可以传递任意的Kafka参数。 “properties.”后的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties
DLI是否支持导入其他租户共享OBS桶的数据? DLI支持将同一个租户下子账户共享OBS桶中的数据导入,但是租户级别共享OBS桶中的数据无法导入。 DLI不支持导入其他租户共享的OBS桶中的数据,主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景,建议先将数据脱敏后上传到OBS
另外,用户可使用其他API来对作业进行查询和管理。具体操作有: 查询作业状态 查询作业详细信息 查询作业结果-方式一(废弃) 导出查询结果 查询所有作业 取消作业(废弃) 该API当响应消息中“job_type”为“DCL”时,为同步操作。 本章节介绍的API已过时,推荐使用提交SQL作业(推荐)介绍的API。
数据迁移与数据传输 数据迁移与传输方式概述 迁移外部数据源数据至DLI 配置DLI读写外部数据源数据
EXISTS hudidb.h1; 权限需求 由DLI提供的元数据服务 SQL权限: database table DROP_TABLE 无 细粒度权限:dli:table:dropTable 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应
可选参数,可以用来改变窗口的分配。可以是正或者负的区间。默认情况下窗口的偏移是 0。不同的偏移值可以决定记录分配的窗口。 例如:在 10 分钟大小的滚动窗口下,时间戳为 2021-06-30 00:00:04 的数据会被分配到哪个窗口呢? 当 offset 为 -16 MINUTE,数据会分配到窗口
描述 VALUES用于查询可以使用的任何地方(例如SELECT、INSERT的FROM子句)。VALUES用于创建了一个没有列名的匿名表,但是表和列可以使用具有列别名的AS子句命名。 示例 返回一个1列3行的表: VALUES 1, 2, 3 返回一个2列3行的表: VALUES (1
SQL作业相关API 提交SQL作业(推荐) 取消作业(推荐) 查询所有作业 预览SQL作业查询结果 导出查询结果 查询作业状态 查询作业详细信息 检查SQL语法 查询作业执行进度信息
创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kerberos类型跨源认证关联的字段 作业类型 数据源 参数 是否必选 数据类型 说明 Flink OpenSource
Flink作业”,在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”,进入作业编辑页面。 在右侧的“运行参数”配置区域,选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时,需要在自定义配置中配置委托信息,其中key为"flink.dli.job.agency
创建维表 DWS维表 Hbase维表 JDBC维表 Redis维表 父主题: 数据定义语句DDL
子句 FROM OVER WHERE HAVING 多层嵌套子查询 父主题: SELECT
不会影响命令执行结果。 注意事项 所要查询的表必须是已经存在的,否则会出错。 别名的命名必须在别名的使用之前,否则会出错。此外,建议不要重名。 示例 给表simple_table起为n的别名,并利用n.name访问simple_table中的name字段。 1 SELECT n.score
本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 操作前准备 导入依赖