检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UNNEST UNNEST可以将ARRAY或MAP展开成relation。 ARRAYS展开为单独一列,MAP展开为两列(key,value)。 UNNEST还可以与多个参数一起使用,将被展开成多列,行数与最高基数参数相同(其他列用空填充)。 UNNEST可以选择使用WITH O
JOINS 允许合并多个relation的数据。 HetuEngine支持JOIN类型为:CROSS JOIN、INNER JOIN、OUTER JOIN(LEFT JOIN、RIGHT JOIN、FULL JOIN)、SEMIN JOIN和ANTI JOIN。 CROSS JOIN
COMMENT 语法 COMMENT ON TABLE name IS 'comments' 描述 设置表的注释信息,可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”,表的注释语句可以通过show create table tablename语句查看:
拼接转换 概述 “拼接转换”算子,将已有字段的值通过连接符拼接,生成新的字段。 输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。
分隔转换 概述 “分隔转换”算子,将已有字段的值按指定的分隔符分隔后生成新字段。 输入与输出 输入:需要分隔的字段 输出:分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名,需填写上一个转换步骤生成的字段名。 string 是
规划存储大量文件的HDFS系统容量,就是规划NameNode的容量规格和DataNode的容量规格,并根据容量设置参数。 容量规格 以下相关参数可以参考修改集群服务配置参数进入HDFS服务全部配置页面,搜索对应参数查看。 NameNode容量规格 在NameNode中,每个文件对象对应DataNode中的一个文件、目录或Block。
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除,后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下:
mapred-default.xml文件解析异常导致WebHCat启动失败 用户问题 MRS的Hive服务故障,重新启动后,Master2节点上的HiveServer和WebHCat进程启动失败,Master1节点进程正常。 原因分析 登录Master2节点,查看“/var/lo
eap对应的是堆信息: 方式二:通过修改自定义参数查看进程堆栈 进入Storm服务参数配置界面。 MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Storm > 服务配置”,“参数类别”选择“全部配置”。 FusionInsight Manag
执行select语句时报错“Execution Error return code 2” 问题现象 执行语句select count(*) from XXX;时客户端报错: Error:Error while processing statement :FAILED:Execution
告警属性 告警ID 告警级别 是否可自动清除 50225 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
10/3.1.5.0.3及之后补丁版本 否:MRS 3.3.0之前版本 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。
告警属性 告警ID 告警级别 是否自动清除 12069 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。无法对aos上层应
告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期,OMS数据库无法管理,数据不能访问。
se的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置ClickHouse SQL防御前提条件 已安装包含ClickHouse服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 ClickHouse逻辑集群运行状态正常。 对于开启了Kerbero
同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为失败时,同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时,同步集群的配置数据与后台配置数据。 若集群中某些服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 同步MRS集群组件配置参数对系统的影响
新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。 在“租户资源管理”页签左侧
创建MRS集群用户 默认情况下,系统只有一个用户“admin”具有Manager最高操作权限。管理员应根据实际业务场景需要,通过Manager创建新用户并指定其操作权限以满足业务使用。 MRS 3.x及之后版本,FusionInsight Manager最大支持50000个用户(包括系统内置用户)。
删除MRS集群用户 根据业务需要,管理员应在Manager删除不再使用的系统用户。 用户删除后,已经发放的TGT在24小时内仍然有效,用户可以使用该TGT继续进行安全认证并访问系统。 如新建用户与已删除用户同名,则会继承已删除用户的拥有的所有Owner权限。建议根据实际业务需求决
况进行配置。 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧的“添加”按钮。 例如增加以下服务配置参数: fs.obs