检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
se Management System),基本功能如下所示。 DDL (数据定义语言):可以动态地创建、修改或删除数据库、表和视图,而无须重启服务。 DML(数据操作语言):可以动态查询、插入、修改或删除数据。 权限控制:可以按照用户粒度设置数据库或者表的操作权限,保障数据的安全性。
tion”的值参考以下说明进行调整。 HMaster的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小时,建议把其设置成和“-XX:MaxNewSize”相同,均为“-Xmx”大小的1/8。
enabled 是否将动态过滤器下推到JDBC查询中。 true(默认值):开启下推。 false:关闭下推。 true dynamic-filtering.wait-timeout 在启动 JDBC 查询之前,HetuEngine将等待从连接的构建端收集动态过滤器的最大持续时间。
的时间,从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题,对于以下场景仍然需要较多时间: 对于动态分区表,如果其分区数非常多,那么也需要执行较长的时间。 父主题: Spark SQL性能调优
配置项“http.server.session.timeout.secs”,如果有该配置项请参考如下步骤修改,如果没有该配置项则版本不支持动态调整会话时长。 MRS 3.x及之后版本集群:登录FusionInsight Manager,选择“集群 > 服务 > meta”,单击“
的时间,从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题,对于以下场景仍然需要较多时间: 对于动态分区表,如果其分区数非常多,那么也需要执行较长的时间。 父主题: Spark SQL性能调优
成”,配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持) MRS 2.x及之前版本: 在MRS Manager界面,单击“服务管理”。
-at,--applicationType <arg>:为Yarn application自定义类型。 -D <property=value>:动态参数配置。 -d,--detached:关闭交互模式,启动一个分离的Flink YARN session。 -h,--help: 显示Yarn
-at,--applicationType <arg>:为Yarn application自定义类型。 -D <property=value>:动态参数配置。 -d,--detached:关闭交互模式,启动一个分离的Flink YARN session。 -h,--help: 显示Yarn
修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多 > 重启服务”。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持) MRS 2.x及之前版本集群: 登录Manager,单击“服务管理”。
查看pending任务对应的队列的资源是否用满。 是,执行5。 否,执行6。 在FusionInsight Manager界面,选择 “租户资源 > 动态资源计划”,根据实际需要,适当增加相应的队列资源。查看告警是否消除。 是,处理完毕。 否,执行6。 调整监控阈值 在FusionInsight
rt方式 insert_overwrite:对静态分区执行insert overwrite insert_overwrite_table:动态分区执行insert overwrite,该操作并不会立刻删除全表做overwrite,会逻辑上重写hudi表的元数据,无用数据后续由hu
查看pending任务对应的队列的资源是否用满。 是,执行5。 否,执行6。 在FusionInsight Manager界面,选择 “租户资源 > 动态资源计划”,根据实际需要,适当增加相应的队列资源。查看告警是否消除。 是,处理完毕。 否,执行6 调整监控阈值 在FusionInsight
kafkasource.batchDurationMillis = 1000 client.sources.kafkasource.batchSize = 800 client.sources.kafkasource.channels = channel1 channel2 client
8e3a-128c9bcfa4bf”的目录,里面存放了计算过程中产生的shuffle临时文件。 因为JDBCServer启动了Spark的动态资源分配功能,已经将shuffle托管给NodeManager,NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单
imit和exec_time_limit_s避免大查询 使用资源队列可避免不同业务相互抢占资源,相互影响,具体请参考Impala启用并配置动态资源池。 OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存,提升读取速率,配置单盘100GB本地缓存示例:—data_
并单击“保存”,单击“确定”进行保存。 Oozie的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在服务或实例重启期间,无法对外提供服务,已提交的作业不受影响。
定哪些用户允许查看自己应用程序的运行状态或者控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配
置阈值。 说明: 对于规则类型为静态拦截、动态拦截的SQL防御规则,系统支持“提示”、“拦截”操作。对于规则类型为运行熔断的SQL防御规则,系统支持“熔断”操作。 规则添加成功后,可以在“SQL防御”界面查看已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整,可单击对应
implements Closeable { 表分区优化建议 当数据量较大,且经常需要按天统计时,建议使用分区表,按天存放数据。 为了避免在插入动态分区数据的过程中,产生过多的小文件,在执行插入时,在分区字段上加上distribute by。 存储文件格式优化建议 Hive支持多种存储