检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkServer REST API样例程序开发思路 场景说明 本样例调用FlinkServer的RestAPI创建租户。 数据规划 准备用户认证文件:登录Manager下载用户凭证,获取“user.keytab”和“krb5.conf”文件。 准备待创建的租户信息,如“te
配置Structured Streaming使用RocksDB做状态存储 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 当大量的状态信息存储在默认的HDFS BackedStateStore,导致JVM GC占用大量时间时,可以通过如下配置,选择RocksDB作为状态后端。
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
MRS 2.0.6.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.6.1 发布时间 2020-07-06 解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一:重启HDFS服务后,HDFS的状态为Bad,且NameNode实例状态异常,并且很久没有退出安全模式。 场景二:NameNode启动时,启动超时后启动失败,原生页面无法打开。 原因分析 在NameNode运行
ALM-38011 Broker上用户连接数使用率超过设定阈值 告警解释 系统每30秒周期性检测Broker上每个用户的连接数情况,当连续5次检测到Broker上某个用户的连接数使用占比超过阈值(默认80%)时产生该告警。 平滑次数为5,当Broker上某个用户的连接数使用占比低于阈值时,告警恢复。
合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算,最终选择出合适的查询计划。
访问Hue WebUI界面 操作场景 MRS集群安装Hue组件后,用户可以通过Hue的WebUI,在图形化界面使用Hadoop生态相关组件。 该任务指导用户在MRS集群中打开Hue的WebUI。 Internet Explorer浏览器可能存在兼容性问题,建议更换兼容的浏览器访问Hue
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值)
Hue上执行Impala SQL查询中文报错 问题现象 Hue上执行Impala SQL,查询SQL结果中包含中文字符,出现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte in position 0: unexpected
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager,选择“集群 > 服务 >
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后,才能实现以下场景的功能:
添加删除MRS集群组件 创建MRS集群时,用户可自行选择集群内包含的服务组件,集群创建成功后,管理员可通过管理控制台手动为MRS添加新的组件或者已删除的组件。 仅MRS 3.1.2及之后的普通版本和MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。
ALM-12075 pms资源异常 告警解释 HA每55秒周期性检测Manager的pms资源。当HA连续3次检测到pms资源异常时,产生该告警。 当HA检测到pms资源正常后,告警恢复。 pms资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
MRS集群服务常用端口列表 在自定义购买MRS集群时,如果集群为LTS版本类型,则可以定制组件端口(默认选择为“开源”)。 “组件端口”参数选择“开源”时,组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时,组件端口默认值请参考“定制默认端口”列。 如果仅有
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
Impala常见问题 Impala服务是否支持磁盘热插拔 Impala对接低版本kudu后,无法执行join MRS集群外节点如何安装impala-shell客户端? Impala 4.3.0版本,开启Ranger后如何对接kudu外表? 通过impala-shell连接不上Impalad的21000端口
MRS 2.0.1.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表: MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2