检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI服务的数据可以存储在哪些地方? OBS:SQL作业,Spark作业,Flink作业使用的数据均可以存储在OBS服务中,降低存储成本。 DLI:DLI内部使用的是列存的Parquet格式,即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中,目前
关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
按列GROUP BY 功能描述 按列对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list; 关键字 GROUP BY:按列可分为单列GROUP BY与多列GROUP
怎样查看DLI SQL日志? 场景概述 日常运维时需要查看DLI SQL日志。 操作步骤 在DataArts Studio控制台获取DataArts Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台,选择“作业管理”>“SQL作业”。
CREATE VIEW语句 功能描述 根据给定的 query 语句创建一个视图。如果数据库中已经存在同名视图会抛出异常。 语法定义 CREATE [TEMPORARY] VIEW [IF NOT EXISTS] [catalog_name.][db_name.]view_name
Hive方言 简介 从Flink 1.11.0 开始,在使用Hive方言时,Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性,改善与Hive的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink
Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。 table.identifier
ate_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 template_id 是 String 模板ID。 请求消息 无请求参数。 响应消息 参数说明 表2
uth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 指定更新的跨源认证名称。
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget
CREATE DATABASE语句 功能描述 根据给定的表属性创建数据库。如果数据库中已存在同名表会抛出异常。 语法定义 CREATE DATABASE [IF NOT EXISTS] [catalog_name.]db_name [COMMENT database_comment]
/delete 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 job_ids 是 [Long] 作业ID。
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint)
channel 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 node_id 是 String 创
test_hbase limit 100; 查询下压 通过hbase进行数据过滤,即HBase Client将过滤条件传给HBase服务端进行处理,HBase服务端只返回用户需要的数据,提高了Spark SQL查询的速度。对于HBase不支持的过滤条件,例如组合Rowkey的查询,直接由Spark
uth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 指定更新的跨源认证名称。
= 120个桶。如果采用月分区,分区桶的个数= 3GB * 30 /2GB = 45个桶 ,这样写入的数据桶数减少到了45个桶。在有限的计算资源下,写入的桶数越少,性能越高。 父主题: Hudi数据表设计规范
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
DLI Delta表概述 Delta表是一种基于Delta Lake技术实现的数据存储解决方案,它使用基于文件的事务日志扩展了 Parquet 数据文件,可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容,并且其设计能够与结
UNION | INTERSECT | EXCEPT UNION、INTERSECT和EXCEPT都是集合操作。都用来将多个SELECT语句的结果集合并成单个结果集。 UNION UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL