检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索参数“
HAVING 功能描述 在HAVING子句中嵌套子查询,子查询结果将作为HAVING子句的一部分。 语法格式 1 2 3 SELECT [ALL | DISTINCT] attr_expr_list FROM table_reference GROUP BY groupby_expression
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一,该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析,将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到DWS中。 例如,输入如下样例数据:
ceil ceil函数用于对a进行向上舍入最接近的整数。 命令格式 ceil(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。
OVER 功能描述 窗口函数与OVER语句一起使用。OVER语句用于对数据进行分组,并对组内元素进行排序。窗口函数用于给组内的值生成序号。 语法格式 1 2 3 4 5 SELECT window_func(args) OVER ([PARTITION BY col_name
为什么Spark3.x的作业日志中打印找不到global_temp数据库 问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。 通常在Spark作业执
FROM 功能描述 在FROM子句中嵌套子查询,子查询的结果作为中间过渡表,进而作为外部SELECT语句的数据源。 语法格式 1 SELECT [ALL | DISTINCT] attr_expr_list FROM (sub_query) [alias]; 关键字 ALL:返
开启或关闭数据多版本 功能描述 DLI提供多版本功能,用于数据的备份与恢复。开启多版本功能后,在进行删除或修改表数据时(insert overwrite或者truncate操作),系统会自动备份历史数据并保留一定时间,后续您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令,以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
Spark作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1
percent_rank percent_rank函数为窗口的ORDER BY子句所指定列中值的返回值,但以介于0和1之间的小数形式表示,计算方法为 (分组内当前行的RANK值-1)/(分组内总行数-1)。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。
查询DCS表 SELECT命令用于查询DCS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 示例 查询表test_redis中的数据。 1 SELECT
Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。 table.identifier
数据权限列表 DLI中SQL语句与数据库、表、角色相关的权限矩阵如表1所示。 表1 权限矩阵 分类 SQL语句 权限 说明 Database DROP DATABASE db1 database.db1的DROP_DATABASE权限 - CREATE TABLE tb1(...)
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; --hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外: 使用多行模式(通过(?m)标志启用)时,只有\ n被识别为行终止符。 此外,不支持(?d)标志,因此不能使用。 大小写区分模式(通过(?i)标志启用)时,总是以unicode的模式去实现。同时,
如何获取AK/SK? 访问密钥即AK/SK(Access Key ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保
COMPACTION 命令功能 对Hudi表进行compaction操作,具体作用可以参考Hudi Compaction操作说明章节。 命令格式 call run_compaction(op => '[op]', table=>'[table]', path=>'[path]',
内连接 功能描述 仅将两个表中满足连接条件的行组合起来作为结果集。 语法格式 1 2 SELECT attr_expr_list FROM table_reference {JOIN | INNER JOIN} table_reference ON join_condition;