检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。 Spa
由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。 Spa
PI兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。
标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto.enable 是否开启数据副本迁移功能，该功
Project Structure”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中，选择“SDKs”，单击加号添加JDK。 图4 Project Structure for New Projects 在弹出的“Select
Project Structure”。 图2 Configure 在弹出的“Project Structure for New Projects”页面中，选择“SDKs”，单击加号添加JDK。 图3 Project Structure for New Projects 在弹出的“Select
错误。 原因分析 Producer发送数据到Kafka失败，可能原因客户端Producer侧问题或者Kafka侧问题。 通过Manager页面查看Kafka服务状态及监控指标。 MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查看
cross_realm_account_pwd="${DEFAULT _PWD}"（位于脚本的1001行）。 登录MRS Manager页面，选择“服务管理”。 选择“更多 > 同步配置”。 在弹出窗口勾选“重启配置过期的服务或实例。”，并单击“确定”，重启配置过期的服务。 同步配置时会调用addRealm
当有脱离集群管控的DataNode时，可能造成数据丢失。 可能原因 强制删除主机后，该主机又上电恢复，进程被重新启动。 处理步骤 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看该告警的详细信息，在附加信息中查看发生该告警的主机IP。 停止上报告警的主机上的DataNode进程。
处于D状态和Z状态。或进程可能被挂起进入T状态。 处理步骤 查看进程是否处于D、Z、T状态 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，等待约10分钟后，在告警列表中查看该告警是否自动清除。 是，处理完毕。 否，查看该告警详细信息，记录上报告警的主机IP地址。执行2。
续检查多少次超过阈值，则发送告警。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行2。 对系统进行扩容。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的节点地址。 登录告警节点。 执行cat /proc/stat |
ResourceManager实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“18008”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Yarn >
hrony”和“ntp”字样，请联系运维人员。 检查该节点的chrony服务是否正常启动。 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，在定位信息中查看发生该告警的主机名称。 检查chronyd进程是否运行在告警节点上
doBuild(PKIXValidator.java:392) ... 47 more 回答 通过https协议连接安全集群，服务端的证书没有被认证，导致连接失败。 可以用集群内节点上java jdk目录下的cacerts（例如：/opt/Bigdata/jdk1.8.0_2
会停止。续费包括手动续费和自动续费两种方式，您可以根据需求选择。了解更多关于续费的信息，请参见续费概述。 费用账单 您可以在管理控制台选择页面上方的“费用 > 费用账单”，进入费用中心后，在“账单管理”查看与MRS集群相关的流水和明细账单，以便了解您的消费情况。如需了解具体操作步骤，请参见费用账单。
警上报时间段监控数据丢失。 可能原因 cep进程异常。 处理步骤 检查cep进程是否异常。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机名称。 以root用户登录该告警的主机地址，用户密码为安装前用户自定义，请咨询系统管理员。
段告警数据上报和恢复失败。 可能原因 fms进程异常。 处理步骤 检查fms进程是否异常。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机名称。 以root用户登录该告警的主机地址，用户密码为安装前用户自定义，请咨询系统管理员。
用户CGroup任务数使用率过高，超过阈值90%。 处理步骤 检查omm用户同时打开的线程最大数的配置是否合理。 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，在定位信息中查看发生该告警的主机名称。单击主机名称，查看对应的IP地址。 以omm用户登录告警所在主机IP节点。
择“更多 > 重启实例”，输入用户密码后，在弹出窗口单击“确定”。 等待实例重启完成，配置生效。 日志格式 Tez的日志格式如下所示： 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字
上层服务也将受到影响。 检查本告警是否清除。 是，处理完毕。 否，执行6。 检查系统中是否有不需要的文件。 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询系统管理员。执行cd命令进入客户端安装目录，然后执行source bigdata_env命令设置环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
