检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Region Transition恢复线程 操作场景 在故障环境中,由于诸如Region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致Region长时间处于Transition下。当Region处于Transition下,由于一些Region
告警所在行的,查看该告警的DBService备服务器地址。 以root用户登录主DBService服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行ping 备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。
/home/admin_test -g root -s /bin/bash 第一次使用新添加的操作系统用户通过SSH协议登录节点时,首次输入用户密码系统提示密码过期,第二次输入用户密码后系统提示修改密码。请输入一个同时满足节点操作系统及集群密码复杂度的新密码。 父主题: MRS集群安全加固
为普通模式),客户端登录时如果需要指定用户名和密码,不能使用FusionInsight Manager页面创建的ClickHouse用户,需要使用客户端命令行执行create user SQL语句创建ClickHouse用户。客户端登录时如果不需要指定用户名和密码参数时,默认使用default用户登录。
</root> Loader每个作业都需要关联一个连接器,连接器主要作用:对于数据导入到集群的场景来说,就是从外部数据源读取数据;对于数据从集群导出去的场景来说,就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下:
执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见ClickHouse用户及权限管理章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export CLICKH
Loader作业需要从不同数据源获取数据时,应该选择对应类型的连接,每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见创建ClickHouse角色章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export CLICKHOU
显示用户选择字段的类型。 行键 “目的连接”为hbase-connector类型时,需要勾选作为行键的“目的字段”。 如果From是sftp/ftp/obs/hdfs等文件类型连接器,Field Mapping 样值取自文件第一行数据,需要保证第一行数据是完整的,Loader作业不会抽取没有Mapping上的列。
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10
在使用MRS服务时,某个用户可以在其他用户的HDFS目录下面删除或者创建文件。 原因分析 客户配置的用户具有ficommon组的权限,所以可以对HDFS任意操作。需要移除用户的ficommon组权限。 处理步骤 以root用户登录集群的Master节点。 执行id ${用户名}命令,显示用户组信息,确认是否有“ficommon”组权限。
educe服务虚拟机”进行筛选。 2022年6月之后购买的集群:按“MRS-BASIC服务费用”进行筛选。 IaaS基础设施资源费用(弹性云服务器,云硬盘,弹性IP/带宽等) MRS服务管理费用详情,请参见产品价格详情。 您可以通过MRS提供的价格计算器,选择您需要的集群节点规格
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 需要提前在MOTService中创建版本管控表并在表中增加特定字段用于版本管控,如果存在则不需要创建。所有MOT类型(全量或增量)作业共用一张表,参考命令如下:
HBase日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hbase/*/hbase-omm-*.out”日志文件过大,造成OS盘/var/log分区空间不足。 原因分析 在HBase长时间运行场景下,操作系统会把JVM创建的“/tmp/
obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明:
统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“ECS BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“下一步”。 图2 创建委托 在弹出页面中搜索框内搜索“OBS
收集ClickHouse系统表转储日志 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 在日常使用ClickHouse时,如果出现一些异常故障,需要紧急重启恢复业务,在紧急重启之前,需要及时转储ClickHouse各系统表状态信息,用于问题定位,提升ClickHouse问题定位的效率。
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://oozie实例业务IP:21003/oozie。可登录FusionInsight
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie业务IP:21003/oozie。例如,“https://10