检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击待重置数据库用户密码的服务名称,然后在服务概览页面中单击“停止服务”。 在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 确认停止服务的影响后,等待服务成功停止。 单击待修改数据库用户密码的服务,选择“更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。
ebalance的能力,创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡,保证每个实例上运行的task数量大致相同,如果某个CDLConnector实例异常或者节点宕机,该任务会在其它节点重新平衡task的数量。 图1 Task的Rebalance示意图
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”中查找“NameNode”下的GC_OPTS参数。 配置文件对象数阈值:修改GC_OPTS参数中Xmx的值(Xmx内存值对应文件数阈值的公式为(y = 0.2007 x -
1.0.3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
threads 10 Broker后台任务处理的线程数目。数据量较大的情况下,可适当调大此参数,以提升Broker处理能力。 num.replica.fetchers 1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。 num.io.threads 8
U使用率小于或等于阈值的85%时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50202 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger
'[table_type]'); 参数描述 表1 参数描述 参数 描述 table_name 需要修改的表名 table_type 需要修改的表类型 index_type 需要修改的索引类型 注意事项 如修改的索引类型有其对应的其他配置参数,同样需要以key => 'value'格式传入sql中。 例如修改为bucket索引:
到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
拖到右侧的操作界面中并将其连接。 采用Taildir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的Source、Channel以及Sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 执行加密操作时,会自动重启Controlle
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
使用Flume客户端加密工具 安装Flume客户端后,配置文件的部分参数可能需要填写加密的字符,Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点,并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd f
集群中支持同时共存多个ThriftServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群 >
由于客户端选择服务端的策略是随机的,可能会出现会话随机分配不均匀的情况,进而可能引起实例间的负载不均衡。 实例进入维护模式(即进入此模式后不再接受新的客户端连接)后,当达到退服超时时间,仍在此实例上运行的业务有可能会发生失败。 URL连接介绍 多主实例模式 多主实例模式的客户端读取Zo
修改MRS角色实例参数 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下,集群管理员可以将某服务所有配置数据导入或者导出,实现配置结果的快速复制。 修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 修改MRS角色实例参数对系统的影响 修改角色实例配
定义目录中包含的最大条目数。 取值范围:1~6400000 1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。
定义目录中包含的最大条目数。 取值范围:1~6400000 1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。
存使用率小于或等于阈值的85%时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50203 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger
U使用率小于或等于阈值的85%时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50205 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger