检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择集群,输入名称和资源标签,如“pool1”,勾选对应主机,单击将选中主机添加入新的资源池,单击“确定”。 配置资源池的队列容量策略。 单击“动态资源计划”,在“资源分布策略”的“资源池”,选择上一步创建的资源池。 在“资源分配”表格,指定租户资源名队列的“操作”列,单击“修改”。
implements Closeable { 表分区优化建议 当数据量较大,且经常需要按天统计时,建议使用分区表,按天存放数据。 为了避免在插入动态分区数据的过程中,产生过多的小文件,在执行插入时,在分区字段上加上distribute by。 存储文件格式优化建议 Hive支持多种存储
=”或“available vCores =”。 是,执行7。 否,执行9。 出现该附加信息表示该租户队列内存或者CPU不足,选择“租户资源 > 动态资源计划 > 资源分布策略”,调大“最大资源容量”的值,查看该告警是否消除。 是,处理完毕。 否,执行8。 选择“集群 > 待操作集群的名称
8e3a-128c9bcfa4bf”的目录,里面存放了计算过程中产生的shuffle临时文件。 因为JDBCServer启动了Spark的动态资源分配功能,已经将shuffle托管给NodeManager,NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单
imit和exec_time_limit_s避免大查询 使用资源队列可避免不同业务相互抢占资源,相互影响,具体请参考Impala启用并配置动态资源池。 OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存,提升读取速率,配置单盘100GB本地缓存示例:—data_
并单击“保存”,单击“确定”进行保存。 Oozie的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在服务或实例重启期间,无法对外提供服务,已提交的作业不受影响。
围的下限,如果需要缩容则缩容到计划节点数量范围的上限。 约束与限制 在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。 弹性伸缩规则:根据集群实时负载对Task节点数量
情况调大,并单击“保存”,单击“确定”。 Oozie的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在服务或实例重启期间,无法对外提供服务,已提交的作业不受影响。
k/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略,默认策略为如下: 无重启(No restart):若没
mapred-default.xml文件解析异常导致WebHCat启动失败 Hive元数据使用RDS时创建视图表中文乱码 MetaStore动态分区数超出阈值导致SQL报错
HBase > 配置”,在搜索框中搜索表1中的参数,并根据业务实际情况修改参数值以启用HBase分时Compaction吞吐量功能,且参数支持动态生效,修改配置保存后,登录hbase shell命令行执行update_all_config即可更新配置,无需重启实例。 开启HBase分
选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。 计算资源 - 为当前租户选择动态计算资源。(部分版本该参数名称为“动态资源”,请以实际为准。) 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 如果是叶子租户,叶子租户可直接提交到任务队列中。
成”,配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持) MRS 2.x及之前版本: 在MRS Manager界面,单击“服务管理”。
hbase_table_name='test:table_hbase_test', external = true) HBase多表联合查询动态过滤优化 HBase支持动态过滤优化。 开启动态过滤功能,需先开启HBase单表查询范围扫描优化功能,然后还需要在计算实例的“coordinator.config
而最多使用资源量可通过该参数限制。 100 MRS 3.x及后续版本集群执行以下操作: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Superior调度器的default租户为例,其他队列的配置类似,单击“修改”编辑。 表2 队列配置参数
租户资源类型 选择“叶子租户资源” 说明: 创建ClickHouse租户,租户资源类型只能选择“叶子租户”。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。
置阈值。 说明: 对于规则类型为静态拦截、动态拦截的SQL防御规则,系统支持“提示”、“拦截”操作。对于规则类型为运行熔断的SQL防御规则,系统支持“熔断”操作。 规则添加成功后,可以在“SQL防御”界面查看已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整,可单击对应
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下: 推荐使用ELB连接Doris,避免当连接的FE故障时,无法对外提供服务。 当Doris单实例或硬件故障时,新提交的任务能运行成功,但不能确保故障时正在运行的任务能执行成功。因此,需要用户连接Doris
wholeStage 类型为Boolean。 当设置的值等于true时,表示开启codegeneration功能,即运行时对于某些特定的查询将动态生成各逻辑计划代码。 当设置的值等于false时,表示关闭codegeneration功能,运行时使用当前已有静态代码。 true 开启ExternalSort除配置spark
wholeStage 类型为Boolean。 当设置的值等于true时,表示开启codegeneration功能,即运行时对于某些特定的查询将动态生成各逻辑计划代码。 当设置的值等于false时,表示关闭codegeneration功能,运行时使用当前已有静态代码。 true 开启ExternalSort除配置spark