检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明 参数 描述 默认值 mapreduce.jobhistory.cleaner.enable 是否开启作业日志文件清理功能。 true
Region限流”的“附加信息”中查看上报的表名及Region信息。 在FusionInsight Manager界面,选择“集群 > 服务 > HBase”,单击“HMaster Web UI”右侧的超链接进入HBase WebUI界面。 单击“Table Details”,对2查看的表对应的Region进行业务调整。
证。可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明: 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问 获取参数“port”的值,默认为9092 SASL_PLAINTEXT
properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl
er管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击“点击管理”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示。
dfs.namenode.decommission.force.enabled:是否开启DataNode快速退服特性。设置为“true”表示开启。 dfs.namenode.decommission.force.replication.min:DataNode快速退服特性场景下
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”,在集群列表中单击指定的集群名称,进入集群信息页面。 单击“前往 Manager”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示:
ka的topic权限。 具体操作请参考准备开发用户章节。 创建topic的命令格式:{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。{Topic}表示Topic名称。 bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
连接器类型可以选择“MRS HDFS”,如果是自建集群可以选择“Apache HDFS”。 图2 HDFS连接 步骤2:新建迁移作业 在“表/文件迁移” 页签,单击“新建作业”。 选择源连接、目的连接: 作业名称:用户自定义任务名称,名称由英文字母、下划线或者数字组成,长度必须在1到256个字符之间。
“字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
Flush较慢,需要进一步分析日志查看。 处理步骤 收集故障信息。 在FusionInsightManager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。
加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。 表1 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
html#Data_Encryption_on_RPC 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要
"tags":{"key":"value"}}' https://<tsd_ip>:4242/api/put?sync <tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。 HTTP/1.1 204 No Content Content-Type: application/json;
等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行4。 检查磁盘使用率是否达到上限 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称和磁盘分区信息。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。
hdfs://hacluster/hbase/autocorrupt/NameSpace名/表名/Region名/列簇名/StoreFile文件名 查看损坏的StoreFile文件是否修复成功,执行修复命令后返回以下信息表示修复成功: recoverLease SUCCEEDED on hdfs:
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群的名称 > 服务 > Hive > HiveServer”。 在HiveServer列表里选择设置租约隔离的HiveServer,选择“HiveServer > 实例配置 > 全部配置”。 在“全部配置”界面的右上角搜索“hive
html#Data_Encryption_on_RPC 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要
同步MRS集群配置 某个新的配置需要同时下发到集群所有服务,或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时,表示这些服务的配置参数值未同步且未生效,集群管理员可以对集群执行同步配置功能,并在同步配置后重启相关服务实例,使所有服务启用新的配置参数。 前提条件