检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询SQL结果 功能介绍 在MRS集群中查询一条SQL的执行结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id} 表1 路径参数 参数 是否必选
如何关闭MRS集群内节点的防火墙服务? 问: 如何关闭MRS集群内节点的防火墙服务? 答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“取模转换”算子,生成两个新字段C和D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
在Session级别开启UDF函数运算结果的隐式转换 登录HetuEngine客户端。 执行以下命令,开启UDF函数运算结果的隐式转换功能。 set session udf_implicit_conversion=true; 在System级别开启隐式转换或UDF函数运算结果的隐式转换 登录FusionInsight
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库,实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据,通过JVM的codegen来实现查询加速的,由于J
Presto的coordinator进程无法正常启动 用户问题 Presto的coordinator未知原因被终止,或者Presto的coordinator进程无法正常启动。 问题现象 Presto的coordinator无法正常启动,Manager页面上显示presto coordinator进程
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。
导出Doris查询结果集 本章节主要介绍如何使用SELECT INTO OUTFILE命令,将Doris查询结果集使用指定的文件格式导出到指定的存储系统中。 导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件,由远端存储系统的语义决定。 如果在导出
Coordinator运行的节点范围 默认情况下,Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上,若需要开放端口,需要开放所有NodeManager节点的端口。HetuEngine利用Yarn的资源标签提供了限制Coordinator在指定
查看HetuEngine Coordinator和Worker日志 在HetuEngine的WebUI界面,可以通过单击LogUI链接跳转至Yarn WebUI界面查看Coordinator和Worker日志。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。
选中“告警ID”为“44005”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理 > Presto > 实例 > Coordinator(对应上报告警实例IP地址) > 定制 > Presto进程GC时间”。单击“确定”,查看GC时间。 查看Coordinator进程的GC时间是否大于5秒。
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20'
collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20'
Presto Coordinator资源组排队任务超过阈值 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 问题现象 Hive查询结果表做压缩存储(ARC4),对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时,在beeline中进行如下设置。
| [GroupCoordinator 2]: Preparing to restabilize group DemoConsumer with old generation 118 | kafka.coordinator.GroupCoordinator (Logging.scala:68)
Presto Coordinator资源组排队任务超过阈值(2.x及以前版本) 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)