检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录Manager页面,请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“服务 > Impala > 实例”。 移动鼠标至“角色”列Impalad实例上,在浏览器底部会显示Impalad实例的ID,并记录该ID。 图2 Impalad实例ID 访问StateStore
“管理安全组规则”。 勾选确认信息后,单击“确定”。 单击“确定”,进入Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入Manager页面。 通过ECS访问FusionInsight Manager 登录MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。
单击“是”,安装目标补丁。 查看补丁安装进度。 访问集群对应的MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置 > 补丁管理”,进入补丁管理页面即可看到补丁安装进度。 对于集群中被隔离的主机节点,请参见修复隔离MRS集群主机补丁进行补丁修复。 卸载滚动补丁
使用rm命令从HDFS中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current目录(/user/${username}/.Trash/current)中。 解决办法 使用skipTrash命令可以跳过HDFS回收站,直接删除。使用前先设置HDFS客户端配置项“dfs.client.skipTrash
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 对于配置了冷热分离策略的表,无法读取和写入OBS上的冷数据,同时本地盘上的热数据变冷后,无法移动到OBS上。 可能原因 ClickHouse访问OBS的endpoint等参数错误。 OBS服务异常。 处理步骤 检查冷热分离相关配置信息
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效,对应模块功能受限,无法正常使用。 可能原因 系统未导入证书(CA证书、HA根证书、HA用户证书、G
HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable.sync 设置是否启用Hfile耐久性以将数据持久化到磁盘。若将该参数设置为true,由于每个Hfile写入HBase时都会被hadoop fsync同步到磁盘上,则HBase性能将受到影响。
开关。 说明: 在使用Hive进行联表查询,且关联的表无大小表的分别(小表数据<24M)时,建议将此参数值改为false,如果此时将此参数设置为true,执行联表查询时无法生成新的mapjoin。 取值范围: true false 默认值为true hive.default.fileformat
使用CDM服务迁移数据至MRS HDFS时任务运行失败 用户问题 使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。 问题现象 使用CDM从源HDFS导入目的端HDFS,发现目的端MRS集群故障,NameNode无法启动。 查看日志发现在启动过程中存在“Java heap
使用AK/SK方式对接OBS前,需参考以下操作获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK)
Region上线时遇到HFile损坏是否跳过并移动到“/hbase/autocorrupt”或“/hbase/MasterData/autocorrupt”目录,容灾场景不建议开启此参数。 false hbase.hlog.split.skip.errors 日志拆分时是否跳过损坏的WAL文件并移动到“/hbase/corrupt”目录。
在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈
在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Impala”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
在Hue WebUI使用元数据浏览器 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。
缀。 .log 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 ClickHouse输出 图3 算子操作方法示意 设置数据保存信息并运行作业
Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值,如果单个map任务的错误记录超过设置阈值则任务自动结束,已经获取的数据不回退。
专线访问FusionInsight Manager。 单击“确定”,进入Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入Manager页面。 在MRS管理控制台,在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 如需给其他
Already Moved:已经移动的字节数 Bytes Left To Move:待移动的字节数 Bytes Being Moved:正在移动的字节数 日志出现“Balancing took xxx seconds”信息表示均衡操作已完成。 设置自动执行Balance任务 登录FusionInsight