检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
直接内存资源状况”,单击“确定”,查看ZooKeeper实际使用的堆内存大小。 根据堆内存实际使用量,修改GC_OPTS参数中的-Xmx值,该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G,则GC_OPTS建议配置为“-Xms4G -Xmx4G
如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “源端路径”:填写备份文件在
高效的流式数据采集,实时数据处理存储等。 Kafka、Storm ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统,具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse、ZooKeeper
pool中可用资源的属性,该属性的值以数字表示。 total_resource object 该resource pool所有资源。 vcores, memory, .. int 可消耗数值型资源属性,当前resource pool中总资源的属性,该属性的值以数字表示。 configuration
Lag=16788, FailedReplicationAttempts=5 找到“FailedReplicationAttempts”的值大于0的记录所对应的“PeerID”值。 如上步骤中,故障节点“10-10-10-153”同步数据到“PeerID”为“abc1”的备集群失败。 继续执行li
Spark2x > 配置”。单击“全部配置”。 选择“SparkResource2x > 默认”,修改以下参数: 表1 参数列表 参数 默认值 修改结果 spark.shuffle.service.enabled false true 重启Spark2x服务,配置生效。 如果需要在Spark2x客户端用External
RS集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是否有值,且绑定的委托具有OBS文件系统操作权限。 是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。
superusergroup”表示HDFS最高权限管理员组,默认值为“supergroup”。 Spark2x 参数“spark.admin.acls”表示Spark2x的管理员列表,列表中成员有权限管理所有Spark任务,若用户未加入此列表则无法管理所有Spark任务。默认值为“admin”。 父主题: 集群用户权限概述
启动服务健康检查”,启动服务健康检查。 设置定期自动健康检查: 单击“系统设置”,单击“维护”下方的“健康检查”,单击“健康检查配置”。 配置“健康检查报告文件最大份数”,该值必须是整数,取值范围1~100。 单击“定期健康检查”的开关开启该功能,启用后根据运维需要选择检查周期为“每天”、“每周”或“每月”,单击“确定”保存配置。
查看MRS集群静态资源 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。 系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果,包含监控指标如下:
消息传输,进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能,可以采用参数: 参数 默认值 说明 unclean.leader.election.enable true 是否允许不在ISR中的副本被选举为Leader,若设置为true,可能会造成数据丢失。
hat.jks keystore-password 密钥库密码,获取keystore信息所需密码。 输入3.b中获取的“password”值。 - truststore 服务端的SSL证书信任列表。 ${BIGDATA_HOME}/FusionInsight_Porter_xxx
使用Scan读取HBase数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “目标NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数: “目的
--secure --port 9440 创建与CSV备份数据文件格式对应的表。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER Cluster名] ( name1 [type1] [DEFAULT|materialized|ALIAS
--secure --port 9440 创建与CSV备份数据文件格式对应的表。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER Cluster名] ( name1 [type1] [DEFAULT|materialized|ALIAS
mapPartitions接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构
供一个阈值。当检测到“丢失的节点数”的值超出阈值时产生该告警。 用户可通过选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”,修改yarn.nodemanager.lost.alarm.threshold的值来配置阈值(修改该参数不用重启Yarn,就可以生效)。
RS集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是否有值,且绑定的委托具有OBS文件系统操作权限。 是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。
Spark2x > 配置”。单击“全部配置”。 选择“SparkResource2x > 默认”,修改以下参数: 表1 参数列表 参数 默认值 修改结果 spark.shuffle.service.enabled false true 重启Spark2x服务,配置生效。 如果需要在Spark2x客户端用External