检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认只启动1个。也可以在“mapred-site.xml”中配置“mapreduce.job.reduces”项。reduce个数由用户控制,通常场景reduce个数是map个数的1/4。
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX
如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute.maxbuffer=0x400000。
默认只启动1个。也可以在“mapred-site.xml”中配置“mapreduce.job.reduces”项。reduce个数由用户控制,通常场景reduce个数是map个数的1/4。
数据恢复后,需要重新启动IoTDB的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份IoTDB业务数据。
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
直接重启耗时约5分钟 滚动重启 滚动重启时,重启节点数据流将停止,启动后恢复 滚动重启10个节点耗时约30分钟 Hue 直接重启 重启期间Hue页面无法访问 直接重启耗时约5分钟 滚动重启 不支持滚动重启 - Loader 直接重启 重启期间无法提交作业 直接重启耗时约5分钟 滚动重启
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000,建议以SFTP服务器的CPU的核数作为其取值。
在“Service Manager”区域内,单击Hive组件名称,进入Hive组件安全访问策略列表页面。 分别单击“all - database”和“default database tables columns”策略所在行的按钮。 删除“public”组策略。
false Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 Map数据块大小 ClickHouse不支持此参数,请配置“Map数”。 - 个数 Map任务的个数。 - 单击“保存并运行”,开始保存并运行作业。
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX
默认只启动1个。也可以在“mapred-site.xml”中配置“mapreduce.job.reduces”项。reduce个数由用户控制,通常场景reduce个数是map个数的1/4。
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX
而NameNode主节点启动后,发现/hadoop-ha/hacluster目录下已经有active的节点,所以也无法升主,导致两个节点都为备。 解决方法 建议通过在FusionInsight Manager界面上重启HDFS的两个ZKFC加以解决。 父主题: HDFS常见问题
服务获权并判断:当接收到客户端的DDL、DML的SQL命令时,SparkSQL服务会向MetaStore服务获取客户端用户对数据库信息的已有权限,并检查是否包含了所需的所有权限,如果是则继续执行,否则拒绝该用户的操作。
HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
界面提示“操作成功”,单击“完成”,集群成功启动。 同步组件配置: 登录MRS管理控制台,单击待操作的集群名称。 在集群详情页,单击“组件管理”。 在服务列表中,单击指定服务名称。 在服务状态页签,选择“更多 > 同步配置”,根据界面提示同步配置。
-所有实例”是否长时间占满,如果占满需要单击“配置”,调整以下RegionServer参数: 表1 RegionServer handler占满时参数调优 参数名称 参数描述 调整策略 hbase.regionserver.handler.count 在RegionServer上启动的