检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
控图表中“Loader使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍(或根据实际情况进行调整)。 注意堆内存设置时,可以设置“-Xms” “-Xmx”近似相等,从而避免每次GC后调整堆的大小,从而引起性能下降。 同时,并且“-
新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
TUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/”进行Base64编码。在编码后所得字符串首位任意加上一个字母,即得到Hql参数的值。后台自动进行解码得到Spark SQL语句。 使用样例: 在Web界面输入Spark SQL语句“show
JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-XX:MaxDirectMemorySize”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 建议将“-XX:MaxDirectMemorySize”值设置为“-Xmx
选择“HiveServer/MetaStore > JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-Xmx”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 当Hive GC时间超出阈值时,将“-Xmx”值调整为默认值的2倍,比如:
JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-XX:MaxMetaspaceSize”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 建议将“-XX:MaxMetaspaceSize”值设置成为“-Xmx”大
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker,需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP,Broker绑定在内网I
ALM-50207 FE的MySQL端口连接数与允许最大连接数的比值超过阈值 告警解释 系统每30秒周期性检查MySQL端口连接数,当检测到当前连接数与设置的FE最大端口连接数的比值超出阈值(默认值为95%)时产生该告警。当前集群设置的FE最大端口连接数由参数“qe_max_co
100000 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在MySQL数据库中对作业中指定的表进行插入数据操作,查看Hudi导入的文件内容是否正常。
40129846432481707e-45 ~3.40282346638528860e+38,正或负 FLOAT 用法说明: 分布式查询使用高性能硬件指令进行单精度或者双精度运算时,由于每次执行的顺序不一样,在调用聚合函数,比如SUM(),AVG(),特别是当数据规模非常大时,达到数千万甚至数十
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群 > 服务 > DBService
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。 读取HDFS数据时,提前根据计算周期过滤。 作业定义平台故障、服务降级,不支持再定义作业,但是不影响已有作业计算。
性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。 读取HDFS数据时,提前根据计算周期过滤。 作业定义平台故障、服务降级,不支持再定义作业,但是不影响已有作业计算。
新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
配置”,单击“全部配置”,选择“IndexServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的值默认4G,可根据如下原则进行调整:告警时间段内IndexServer2x使用堆内存的最大值和“IndexServer2x堆内存使用率统计 (IndexServer2x