检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
oker,进行多次退服操作。 在退服Broker时,可以在KafkaUI界面查看分区迁移进度,如果观察到迁移进度过慢,可以在业务低峰期间,动态调整分区迁移流量,如果退服过程影响业务流量,可以调小分区迁移流量,设置取消正在执行的分区迁移任务。 在退服入服Broker的过程中,建议不
系统”,将“GC_OPTS”参数中“-Xmx”的值参考以下说明进行调大。 HMaster的GC参数配置建议 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小的时候,建议把其设置成和“-XX:MaxNewSize”相同,均为“-Xmx”大小的1/8。
Hive连接器支持元数据缓存,以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。 动态过滤 开启动态过滤有助于Hive连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。 带分区条件查询 建立分区表并且查询带分区过滤条件有助于过滤部分分区数据,从而提高性能。
HiveServer堆内存使用率统计 (HiveServer)”,可查看“阈值”。 建议同时调节“-Xms”的值,使“-Xms”和“-Xmx”比值为1:2,这样可以避免JVM动态调整堆内存大小时影响性能。 MetaServer的GC参数配置建议 当MetaStore进程使用的堆内存已达到MetaStore进程设定的
tion”的值参考以下说明进行调整。 HMaster的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小时,建议把其设置成和“-XX:MaxNewSize”相同,均为“-Xmx”大小的1/8。
进行逻辑上的描述。 StarRocks中的表由行和列构成,每行数据对应用户一条记录,每列数据具有相同的数据类型。所有数据行的列数相同,可以动态增删列。在StarRocks中,一张表的列可以分为维度列(也称为Key列)和指标列(也称为Value列),维度列用于分组和排序,指标列的值
扩容数据盘,请参见扩容数据盘。 升级规格:升级Master节点的实例规格,请参见升级Master节点规格。 弹性伸缩:根据业务数据量的变化动态调整集群节点数量以增减资源,请参见配置弹性伸缩规则。 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,当前不会
扩容数据盘,请参见扩容数据盘。 升级规格:升级Master节点的实例规格,请参见升级Master节点规格。 弹性伸缩:根据业务数据量的变化动态调整集群节点数量以增减资源,请参见配置弹性伸缩规则。 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,当前不会
的时间,从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题,对于以下场景仍然需要较多时间: 对于动态分区表,如果其分区数非常多,那么也需要执行较长的时间。 父主题: Spark SQL性能调优
FUNCTION example AS 'com.xxx.bigdata.iotdb.UDTFExample' 由于IoTDB的UDF是通过反射技术动态装载的,因此您在装载过程中无需启停服务器。 UDF函数名称是大小写不敏感的。 请不要给UDF函数注册一个内置函数的名字。使用内置函数的名字给UDF注册会失败。
配置项“http.server.session.timeout.secs”,如果有该配置项请参考如下步骤修改,如果没有该配置项则版本不支持动态调整会话时长。 MRS 3.x及之后版本集群:登录FusionInsight Manager,选择“集群 > 服务 > meta”,单击“
的时间,从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题,对于以下场景仍然需要较多时间: 对于动态分区表,如果其分区数非常多,那么也需要执行较长的时间。 父主题: Spark SQL性能调优
修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多 > 重启服务”。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持) MRS 2.x及之前版本集群: 登录Manager,单击“服务管理”。
约束与限制 使用MRS前,您需要认真阅读并了解以下使用限制。 MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时,支持自动创建安全组,也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限,避免被恶意访问。
rt方式 insert_overwrite:对静态分区执行insert overwrite insert_overwrite_table:动态分区执行insert overwrite,该操作并不会立刻删除全表做overwrite,会逻辑上重写hudi表的元数据,无用数据后续由hu
-at,--applicationType <arg>:为Yarn application自定义类型。 -D <property=value>:动态参数配置。 -d,--detached:关闭交互模式,启动一个分离的Flink YARN session。 -h,--help: 显示Yarn
-at,--applicationType <arg>:为Yarn application自定义类型。 -D <property=value>:动态参数配置。 -d,--detached:关闭交互模式,启动一个分离的Flink YARN session。 -h,--help: 显示Yarn
Hudi是否应该基于最后24个提交的元数据动态计算insertSplitSize,默认关闭。 true hoodie.copyonwrite.record.size.estimate 平均记录大小。如果指定,Hudi将使用它,并且不会基于最后24个提交的元数据动态地计算。 没有默认值设置。这对
查看pending任务对应的队列的资源是否用满。 是,执行5。 否,执行6。 在FusionInsight Manager界面,选择 “租户资源 > 动态资源计划”,根据实际需要,适当增加相应的队列资源。查看告警是否消除。 是,处理完毕。 否,执行6 调整监控阈值 在FusionInsight
查看pending任务对应的队列的资源是否用满。 是,执行5。 否,执行6。 在FusionInsight Manager界面,选择 “租户资源 > 动态资源计划”,根据实际需要,适当增加相应的队列资源。查看告警是否消除。 是,处理完毕。 否,执行6。 调整监控阈值 在FusionInsight