检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带
4或以上集群版本,创建CSS安全集群,并下载安全集群证书(CloudSearchService.cer)。 登录云搜索服务控制台,单击“集群管理”,选择需要建立跨源连接的集群,如图1所示: 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。
不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel
是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 指定查询的队列名称。 说明: 队列名称不区分大小写,系统会自动转换为小写。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success
查看SQL执行计划 SQL执行计划是数据库查询的逻辑流程图,它展示了数据库管理系统如何执行一个特定的SQL查询。执行计划详细列出了执行查询所需的各个步骤,例如表扫描、索引查找、连接操作(如内连接、外连接)、排序和聚合等。执行计划可以帮助分析查询的性能,识别可能的性能瓶颈,通过了解
查询所有表(废弃) 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃,不推荐使用。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true
是否必选 参数类型 说明 queue_type 否 String 队列的类型,有如下三种类型: sql:查询SQL队列类型的队列。 general:查询通用队列类型的队列。 all:查询所有类型的队列。 如果不指定,默认为sql。 with-priv 否 Boolean 是否返回权限信息。
查询所有表(废弃) 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/tables
项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数,默认为100。 offset 否 String 查询结果偏移量,默认为0(连接以创建时间进行排序)。 auth_info_name 是 String 认证信息名,同一个project下唯一。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数,默认为100。 offset 否 String 查询结果偏移量,默认为0(连接以创建时间进行排序)。 auth_info_name 是 String 认证信息名,同一个project下唯一。
多层嵌套子查询 功能描述 多层嵌套子查询,即在子查询中嵌套子查询。 语法格式 1 SELECT attr_expr FROM ( SELECT attr_expr FROM ( SELECT attr_expr FROM... ... ) [alias] ) [alias]; 关键字
查询DCS表 SELECT命令用于查询DCS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 示例 查询表test_redis中的数据。 1 SELECT
* from db1.table1 limit 1000; 单击“执行”,系统开始查询。 SQL语句执行成功/失败后,可在SQL作业编辑窗口下方“查看结果”页签查看查询结果。 后续指引 完成Spark SQL作业快速入门操作后,如果您想了解更多关于Spark SQL作业相关操作,建议您参考以下指引阅读。
查询作业列表 功能介绍 查询当前用户的作业列表,可以根据作业ID作为ID,查询大于ID或小于ID的限定条数的作业,默认查询全部状态的作业,也可以设定运行中或其他状态条件。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{projec
项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 被查询的表所在的数据库名称。 table_name 是 String 被查询的表名称。 user_name 是 String 被查询的用户名称。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选
查询所有全局变量 功能介绍 该API用于查询当前project下所有全局变量的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/variables 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
查询作业详细信息 功能介绍 该API用于查询作业的详细信息,如作业的databasename、tablename、file size和export mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_i
导致数据导入完成后查询表数据失败怎么办? 问题现象 DLI分区内表导入了CSV文件数据,导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段,导致查询不到表数据。 问题根因 DLI分区内表在导入数据时,如果文件数据没有包含分区字段,则系统会默认指定分区值“_
Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。 modules Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下:
使用DLI提交SQL作业查询RDS MySQL数据 操作场景 DLI可以查询存储在RDS数据库中的数据,本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。 本例创建RDS实例并新建数据库和表,创建DLI弹性资源池队列,通过增强型跨源连接打通DLI弹性资源池