正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ResourceManager持续主备倒换 问题 RM(ResourceManager)在多个任务(比如2000个任务)正常并发运行时出现持续的主备倒换,导致YARN服务不可用。 回答 产生上述问题的原因是,full GC(GabageCollection)时间过长,超出了RM与ZK(ZooKee
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect
在表“htable”的“权限”列,勾选“查询”、“插入”和“删除”。 单击“确定”完成。 在角色管理中,授予角色在Hive外表中查询、插入和删除数据的操作与Hive表相同,授予元数据权限将自动关联HDFS文件权限。 列授权 用户在Hive和HDFS中对自己创建的表拥有完整权限,用户没有权限访问别
HDFS on Hue Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式使用HDFS。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDF
未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。 false:关闭安全连接。 单击“
-delete表示将源位置和目标位置的文件同步,删除掉目标位置多余的文件,注意如果需要增量拷贝文件,请将-delete删掉; -prbugpaxtq与-update配合,表示被拷贝文件的状态信息也会被更新; hdfs://cluster1/source、hdfs://cluster2/target分别表示源位置和目标位置。
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装
al、string、date、timestamp、boolean、binary类型支持设置默认值。 Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列。 系统响应 Table创建成功,创建成功的消息将被记录在系统日志中。
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。
创建MRS集群)。 表1 MRS集群配置参数 参数名称 参数说明 取值样例 计费模式 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
会晚于用户数据被删除。 HBase表启动容灾之后,主集群新建二级索引,索引表变更不会自动同步到备集群。要实现该容灾场景,必须执行以下操作: 在主表创建二级索引之后,需要在备集群使用相同方法创建结构、名称完全相同的二级索引。 在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
高优先级Job完成并释放资源后,才被继续启动。 该特性使得业务能够更加灵活地控制自己的计算任务,从而达到更佳的集群资源利用率。 容器可重用与任务优先级调度有冲突,若启用容器重用,资源会被持续占用,优先级调度将不起作用。 YARN的权限控制 Hadoop YARN的权限机制是通过访
或者集群中所有服务的配置状态为失败时,同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时,同步集群的配置数据与后台配置数据。 若集群中某些服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 对系统的影响 同步集群或服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。
开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 若要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色,如参考创建FlinkServer权限角色勾选“应用查看”。
如果没有副本与客户端处于相同Rack,则返回leader副本 return Optional.of(partitionView.leader()); } else { // 到这里说明存在与客户端位于同一Rack的副本
如果没有副本与客户端处于相同Rack,则返回leader副本 return Optional.of(partitionView.leader()); } else { // 到这里说明存在与客户端位于同一Rack的副本
0.0以下版本的默认端口为50070,3.0.0及以上的默认端口为9870。用户使用的端口和HDFS版本不匹配导致连接端口失败。 登录集群的主Master节点。 执行su - omm命令,切换到omm用户。 执行/opt/Bigdata/om-0.0.1/sbin/queryVersion
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络