检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查询MRS节点的启动时间? 登录当前节点,执行如下命令查询节点启动时间: date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S" 父主题: 节点管理类
更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询用户(组)与IAM委托的映射关系成功 400 查询用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题: 委托管理
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功 错误码 请参见错误码。 父主题: 版本元数据查询
默认取值: 不涉及 offset 否 Integer 参数解释: 索引位置,从offset指定的下一条数据开始查询。查询第一页数据时,不需要传入此参数,查询后续页码数据时,将查询前一页数据时响应体中的值带入此参数。 约束限制: action为count时无此参数。如果action为filter默认为0。
问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。
HBase SQL查询样例代码说明 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理
集群内用户密码的过期时间如何查询和修改? 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client
集群中创建的新用户执行查询Hive操作时无权限 问题现象 创建了新用户,但是执行查询的时候报无权限的错。 Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied:
查询数据连接列表 功能介绍 查询数据连接列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
是,操作结束。 否,执行4。 检查SQL语句执行是否耗时较长 查看告警对象所属的逻辑集群。登录Manager页面,选择“集群 > 服务 > ClickHouse > 逻辑集群 > 查询管理 > 正在进行的慢查询”。在界面上查看哪些SQL执行耗时较长,和客户进行确认,进行业务进行调整,
Datasource Avro格式查询异常 问题 Datasource Avro格式查询报错,提示Caused by: org.apache.spark.sql.avro.IncompatibleSchemaException。 回答 针对avro格式表查询报错,根本原因是avro格式
BO正确的优化。 CBO优化器会基于统计信息和查询条件,尽可能地使join顺序达到合适。但是也可能存在特殊情况导致join顺序调整不准确。例如数据存在倾斜,以及查询条件值在表中不存在等场景,可能调整出非优化的join顺序。 开启列统计信息自动收集时,需要在reduce侧做聚合统计
使用Presto客户端执行查询语句 用户可以根据业务需要,在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群,需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密
间数据落盘,如果查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知 容错不适用于已损坏的查询或其他用户错误场
维成本。为了解决上述问题,HetuEngine提供了自适应查询执行的功能,该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuE
0)数据类型,建议使用double数据类型来替换numeric (20,0)数据类型,以提高查询性能。 在一个测试用例中,使用double来替换numeric (20, 0),查询时间从15秒降低到3秒,查询速度提高了5倍。创建表命令如下: create table carbondata_table(
to日志进行查找。 根据报错信息在到对应节点去查看presto worker实例的进程日志。 日志显示: java.lang.OutOfMemoryError: Java heap space 根据报错预判发生了oom导致查询报错。 处理步骤 在Manager页面查找work的JVM参数(xmx)。
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能,查询性能会有起伏。 可能原因 在处理数据加载时,为每个executor程序实例配置的内存不足,可能会产生更多的Java GC(垃圾收集)。当GC发生时,会发现查询性能下降。 定位思路 在Spark