检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选择“按内存”或“按CPU”观察。 资源使用比例(按租户) 租户所使用的CPU核数和内存的比例。 可选择“按内存”或“按CPU”观察。 任务耗时排序 对Yarn任务耗时进行排序显示。 ResourceManager RPC连接数(按用户) 统计连接到RM的Client RPC请求中,各个用户的连接数。
@password=用户密码 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧的“添加”按钮。 例如作业需要通过A
truststore的password,“123456”表示需要用户输入自定义设置的密码值。 如果打开Task Manager之间data传输通道的SSL,对性能会有较大影响,需要用户从安全和性能综合考虑。 在Flink客户端的bin目录下,执行命令sh generate_keystore.sh
组的访问。 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式),请参见SSH密码方式登录。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 登录MRS Manager页面,具体请参见访问MRS Manager(MRS 3.x之前版本),然后选择“服务管理”。
弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum源的情况下,可执行yum
当该配置设置为-1或0时,“yarn.log-aggregation.retain-seconds”不能设置为0。 设置为正数时,将周期性的间隔这段时间以后对HDFS上的container聚合日志进行扫描。 说明: 当时间设置太短时,有可能会增加NameNode的负担,建议根据实际情况设置一个合理的时间。
TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 设置SSL加密的算法 如果打开Task Manager之间data传输通道的SSL,对性能会有较大影响,需要用户从安全和性能综合考虑。 在Flink客户端的bin目录下,执行命令sh generate_keystore.sh
ent”。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 构建Jar包。 在IntelliJ IDEA中,在生成Jar包之前配置工程的Artifacts信息。 在IDEA主页面,选择“File
install ntp -y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 集群内节点安装客户端 获取软件包。 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。
务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。 配置静态服务池后,各服务及角色实例使用的最大资源将不能超过限制。
、内存等的资源分配)。 NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map和Reduce任务的执行,而NodeManager管理抽象容器,这些容
当该配置设置为-1或0时,“yarn.log-aggregation.retain-seconds”不能设置为0。 设置为正数时,将周期性的间隔这段时间以后对HDFS上的container聚合日志进行扫描。 说明: 当时间设置太短时,有可能会增加NameNode的负担,建议根据实际情况设置一个合理的时间。
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。
Compaction。 如果必须要执行Major Compaction,以回收更多的空间,可以适当增加该值来调大Major Compaction的执行周期,减少对资源的频繁占用。单位:毫秒。 604800000 hbase.regionserver.maxlogs hbase.regionserver
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 系统性能下降,慢盘会导致系统I/O性能下降,从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢(例如:作业提交运行变
达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 备份目录不可包含长期写入的文件,否则会导致备份任务失败,因此不建议对顶层目录进行操作,例如“/user”、“/tmp”、“/mr-history”。 单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因:
用户在HBase表写入数据时手动指定了时间戳,且时间早于上一次该HBase表的备份时间,则在增量备份任务中可能无法备份新数据。 HBase备份功能不支持对HBase的global或者命名空间的读取、写入、执行、创建和管理权限的访问控制列表(ACL)进行备份,恢复HBase数据后需要管理员在FusionInsight
truststore的password,-表示需要用户输入自定义设置的密码值。 如果打开Task Manager之间data传输通道的SSL,对性能会有较大影响,需要用户从安全和性能综合考虑。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。
k Group来将指定的Channel和多个Sink对接,从而满足相应的使用场景。目前Flume提供了两种Sink Processor用于对Sink Group中的Sink进行管理:Load Balancing和Failover。 Failover:表示在Sink Group中同
@password=用户密码 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧增加。 例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: