-
查看队列定时扩缩容计划(废弃) - 数据湖探索 DLI
Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如: "repeat_day":
-
创建队列定时扩缩容计划(废弃) - 数据湖探索 DLI
Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如: "repeat_day":
-
队列赋权(废弃) - 数据湖探索 DLI
用户所属的用户组需要在所属区域内具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式:
-
修改队列定时扩缩容计划(废弃) - 数据湖探索 DLI
Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如: "repeat_day":
-
获取分区信息列表(废弃) - 数据湖探索 DLI
locations 否 Array of Strings 路径,非DLI表显示,DLI表不显示。 last_ddl_time 否 Long 最后一个ddl语句执行时间,(单位:秒(s))。 num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。
-
迁移DWS数据至DLI - 数据湖探索 DLI
在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。 配置连接DWS的数据源连接参数,具体参数配置如下。 表1 DWS数据源配置 参数 值 名称 自定义DWS数据源名称。例如当前配置为:source_dws。 数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。
-
FileSystem结果表 - 数据湖探索 DLI
对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。
-
FileSystem结果表 - 数据湖探索 DLI
对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。
-
FileSystem结果表 - 数据湖探索 DLI
对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。
-
快速使用SQL语句查询数据 - 数据湖探索 DLI
选择队列 步骤 ① 在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。 ② 在SQL编辑器页面,选择默认的队列“default”。 说明 该队列为服务默认的共享队列,队列大小按需分配,自动扩展。用户在不确定所需队列大
-
SELECT - 数据湖探索 DLI
ALL ] query 语法说明 UNION返回多个查询结果的并集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。 示例 输出Orders
-
DLI细粒度授权 - 数据湖探索 DLI
DLI服务的其他功能。 DLI系统权限 权限类别:根据授权精程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予
-
SELECT - 数据湖探索 DLI
ALL ] query 语法说明 UNION返回多个查询结果的并集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。 示例 输出Orders
-
SELECT - 数据湖探索 DLI
BY与多列GROUP BY。 单列GROUP BY:指GROUP BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据
-
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 - 数据湖探索 DLI
在GaussDB(DWS) 控制台设置会话闲置超时时长session_timeout,在闲置会话超过所设定的时间后服务端将主动关闭连接。 session_timeout默认值为600秒,设置为0表示关闭超时限制,一般不建议设置为0。 session_timeout设置方法如下: 登录GaussDB(DWS)
-
SELECT - 数据湖探索 DLI
BY与多列GROUP BY。 单列GROUP BY:指GROUP BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据
-
SELECT - 数据湖探索 DLI
BY与多列GROUP BY。 单列GROUP BY:指GROUP BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据
-
SELECT - 数据湖探索 DLI
BY与多列GROUP BY。 单列GROUP BY:指GROUP BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据
-
SELECT - 数据湖探索 DLI
BY与多列GROUP BY。 单列GROUP BY:指GROUP BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据
-
Upsert Kafka - 数据湖探索 DLI
topic。表类型支持源表和结果表。 作为source,upsert-kafka 连接器生产changelog流,其中每条数据记录代表一个更新或删除事件。 数据记录中的value被解释为同一key的最后一个value的UPDATE,如果有这个key(如果不存在相应的key,则该更新被视