检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败 问题背景与现象 Yarn-client模式提交任务AppMaster尝试启动两次失败。 原因分析 Driver端异常: 16/05/11 18:10:56 INFO Client:
xml”,选择“Add as Maven Project”,将该项目添加为Maven Project。若“pom.xml”图标如图9所示,可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
Manager页面,选择“租户资源”,在租户列表中选中需要查看的ClickHouse租户,查看租户概述和资源配额。 选择“资源”,单击“资源详情”后的,对租户资源进行修改。 修改完成后,单击“确定”,返回“资源”页面,展示修改后的资源详情。 修改ClickHouse租户资源配额后,需要重新登录ClickHouse客户端才能生效。
TS”参数中“-XX:MaxDirectMemorySize”的值为“TokenServer使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或实例期间,可能会造成访问Guard
ver进程所需的非堆内存,建议调整“GC_OPTS”参数中“-XX:MaxPermSize”的值为当前非堆内存使用量的两倍(或根据实际情况进行调整)。 重启受影响的服务或实例观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或实例期间,可能会造成访问Guardian失败,从而导致作业无法访问OBS。
服务> Storm > 配置 > 全部配置 > Nimbus > 系统”。将“NIMBUS_GC_OPTS”参数中“-Xmx”的值根据实际情况进行调整,然后单击“保存”,单击“确定”。 建议“-Xms”和“-Xmx”设置成相同的值,避免JVM动态调整堆内存大小时影响性能。 当Stor
如果检查类型为集群时,“查看帮助”在“检查对象”的下拉菜单中。系统执行健康检查时,涉及检查对象的监控指标数据时,并非以当前实时的监控数据进行判断,而是收集近期的历史数据,因此存在时间延迟。 表1 健康检查报告记录 项目 说明 检查对象 表示被检查的对象,可打开下拉菜单查看详情。
配置”,单击“全部配置”,选择“JDBCServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的默认值为4G,可根据如下原则进行调整:若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的JDBCServer2x实例。
delay: 10 s 重启策略选择 如果用户在作业失败后,不希望重试,则推荐使用No restart策略。 如果用户在作业失败后,希望对作业进行重试,推荐使用failure-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数,从而导致作业失败。
doop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群:用于流式数据处理任务,对实时数据源进行快速分析,主要包含Kafka、Flume等流式数据处理组件。 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务的集群。 自定义:
当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。AK/SK认证的详细说明请参见认证鉴权的“AK/SK认证”。 X-Sdk-Date:请求发送的时间,可选,当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。AK/SK认证的
是否可分割。默认的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
xml”,选择“Add as Maven Project”,将该项目添加为Maven Project。若“pom.xml”图标如图9所示,可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。
MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MRS集群创建在虚拟私有云(VPC)的子网内,VPC通过逻辑方式进行网络隔离,为用户的MRS集群提供安全、隔离的网络环境。 创建虚拟私有云和子网 对象存储服务(Object Storage Service)
ResourceManager堆内存使用率超过阈值”。 是,查看“ALM-18008 ResourceManager堆内存使用率超过阈值”进行处理。 否,执行8。 观察界面告警是否清除。 是,处理完毕。 否,执行9。 收集故障信息。 在FusionInsight Manager界面,选择“运维
控图表中“Loader使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍(或根据实际情况进行调整)。 注意堆内存设置时,可以设置“-Xms” “-Xmx”近似相等,从而避免每次GC后调整堆的大小,从而引起性能下降。 同时,并且“-