检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
29860 29860 HSBroker服务侦听的端口号。 server.port(HSConsole) 29880 29880 HSConsole服务侦听的端口号。 server.port(HSFabric) 29900 29900 HSFabric服务侦听的端口号,用于跨域连接。 gateway
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。
如何修改ClickHouse服务时区? 问题现象 用户插入数据到ClickHouse时发现时区不对,差了八小时。 原因分析 Clickhouse时区默认设置为Europe/Moscow,需要修改为当地时区。 解决步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse
parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VMs:创建虚拟机中 Initializing VMs:初始化虚拟机中 Installing MRS Manager:安装MRS Manager中 Deploying the cluster:部署集群中
待操作集群的名称 > 服务 > 待操作服务的名称”。选择右上角“更多 > 下载堆栈信息”。 选择需要下载的角色和内容,单击“下载”,可直接下载相关堆栈信息到本地。 图2 下载堆栈信息 清理堆栈信息 选择“集群 > 待操作集群的名称 > 服务 > 待操作服务的名称”。 选择右上角“更多
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下,如果在任务执行过程中,执行NodeManager关闭动作,NodeManager关闭节点上的Executor(s)在空闲超时之后,在driver页面上未被移除。 回答 这是因
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
Spark连接其他服务认证问题 问题现象 Spark连接HBase,报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1:HBase没有获取到当前任务的认证信息,导致连接HBase的时候认证失败,无法读取到相应数据。 问题2:Spar
3.3.1之前版本) 紧急(MRS 3.3.1及之后版本) 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。 执行以
例如,用户可以选择操作系统为Euler的弹性云服务器准备操作。 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 如果不同,请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许MRS集群所有安全组的访问。
ALM-14010 NameService服务异常 告警解释 系统每180秒周期性检测NameService服务状态,当检测到NameService服务不可用时产生该告警。 NameService服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 14010 重要
JobGateway手动更新服务客户端 本章节适用于MRS 3.3.1及之后版本。 操作场景 该操作指导用户在MRS集群添加多服务更新服务客户端失败时,手动更新客户端。 前提条件 Manager上已成功添加服务。 仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面,选择“集群
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。
Flume服务端进程故障 问题现象 Flume运行一段时间后,Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常,重启后Manager界面提示如下信息: [2019-02-26 13:38:02]RoleInstance prepare
设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“完成”。 图2 创建委托 在委托的“操作”列单击“授权”,搜索“OBS
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。