检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
blacklist功能。 在新的Blacklisting DFSClient failover provider中，故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息，防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。 例如，如下集群配置：
conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在，则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max
在弹出的菜单中，选择“storm-examples:jar > Build”开始生成Jar包。 图7 Build 当Event log中出现如下类似日志时，表示Jar包生成成功。您可以在图4中配置的路径下获取到Jar包。 14:37 Compilation completed successfully
在弹出的菜单中，选择“storm-examples:jar > Build”开始生成Jar包。 图7 Build 当Event log中出现如下类似日志时，表示Jar包生成成功。您可以在图4中配置的路径下获取到Jar包。 14:37 Compilation completed successfully
参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 表1 参数说明 配置项 描述 默认值 spark.authenticate 是否开启Spark内部安全认证。 安全模式：true 普通模式：false
动态资源计划 > 资源分布策略”。 MRS控制台：在集群详情页，选择“租户管理 > 资源分布策略”。 在“资源池”选择指定的资源池。 在资源分配列表指定队列的“操作”列，单击“清除”。 在弹出的对话框中单击“是”，清除队列在当前资源池的配置。 如果用户未配置队列的资源容量策略，则清除功能默认不可用。
Out”，退出当前用户。 使用rangeradmin用户或者其他具有Ranger管理员权限用户重新登录。rangeradmin用户默认密码请参考用户账号一览表获取。 在Ranger WebUI界面选择“Settings > Roles”。 单击已创建的LakeFormation角色名称，进入“Role
MRS 3.1.5补丁说明 MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前，需要先安装MRS
on HBase 程序-分布式Scan HBase表 Java SparkOnHbaseScalaExample-HBaseDistributedScanExample Spark on HBase 程序-分布式Scan HBase表 Scala SparkOnHbasePytho
在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在，则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max
on HBase 程序-分布式Scan HBase表 Java SparkOnHbaseScalaExample-HBaseDistributedScanExample Spark on HBase 程序-分布式Scan HBase表 Scala SparkOnHbasePytho
避免程序出现未知异常。可以使用try-catch块来处理异常，并在必要时记录异常信息。 UDF中应避免定义静态集合类用于临时数据的存储，或查询外部数据存在较大对象，否则会导致内存占用过高。 应该避免类中import的包和服务侧包冲突，可通过grep -lr "完全限定类名"命令来
打开配置文件“${BIGDATA_HOME}/FusionInsight_Current/*HiveServer/etc/hivemetastore-site.xml”，查找配置项“javax.jdo.option.ConnectionURL”，复制配置项值。 登录Manager页面，选择“集群 > 服务 > Hive
登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“组件管理”。 单击服务列表中指定的服务名称。 单击“实例”页签。 勾选待操作角色实例前的复选框。 选择“更多 > 启动实例”、“停止实例”、“重启实例”或“滚动重启实例”等，执行相应操作。
单击“确定”，等待弹性伸缩集群设置完成。 参考信息 在添加规则时，可以参考表1配置相应的指标。 混合集群的支持分析集群和流式集群的所有指标。 表1该表中不同数值类型取值精度如下： 整型：整数。 百分比：0.01。 比率：0.01。 表1 弹性伸缩指标列表 集群类型 指标名称 数值类型 说明 流式集群 StormSlotAvailable
e.topic.enable = true”） 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询 父主题： 使用Kafka
hbase.regionserver.hlog.blocksize 表示一个RegionServer上未进行Flush的Hlog的文件数量的阈值，如果大于该值，RegionServer会强制进行flush操作。 表示每个HLog文件的最大大小。如果HLog文件大小大于该值，就会滚动
SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 参数 配置描述 节点容器槽位数 yarn.nodemanager.resource.memory-mb 参数解释
HDFS目录配额不足导致写文件失败 执行balance失败报错“Source and target differ in block-size” 查询或者删除HDFS文件失败 非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
