检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 MRS 3.x以前版本集群执行以下操作： 下载客户端配置文件。 登录MRS Manager页面，具体请参见访问集群Manager，然后选择“服务管理”。
问权限的委托。 配置的委托对该集群上所有用户（包括内置用户）及用户组生效，如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时，如果配置了写权限，需要同步配置对应的回收站路径。默认回收站路径为“/user/${current.user}/.Trash/”，${current
本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、其他服务的内存外，剩余的资源应尽量分配给YARN。通过如下配置参数进行调整。
员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”，搜索参数“yarn
当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean install进行编译。 当输出“BUILD SUCC
lient”目录。 进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env 操作步骤 获取运行在Yarn上的任务的具体信息。 命令： curl -k -i --negotiate -u : "http://10-120-8
Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。
可能原因 系统证书文件（CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等）剩余有效期小于30天。 处理步骤 查看告警原因。 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的。 查看“附加信息”，获取告警附加信息。
HBase任务时HBase服务异常。 执行Hive on Spark任务时Spark服务异常。 依赖的基础服务HDFS、Yarn、ZooKeeper等异常。 处理步骤 检查HQL命令是否符合语法。 在FusionInsight Manager界面选择“运维 > 告警”，查看告警详情，获取产生告警的节点信息。
gionServer处理读写的并发能力下降，业务读写时延变大或者请求失败。 可能原因 handler配置值过低。 请求存在热点问题。 处理步骤 查看告警定位信息 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19021”的
运行IoTDB UDF样例程序 UDF完整样例程序 可以参考IoTDB UDF样例代码章节。 操作步骤 UDF注册。 注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行： 将项目打成Jar包，如果使用Maven管理项目
获取运行状态的Oozie服务器主机名，如“10-1-130-10”。 获取Yarn ResourceManager主节点IP，如10.1.130.11。 操作步骤 以客户端安装用户，登录安装Oozie客户端的节点。 执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操
该操作指导用户在MRS集群添加多服务更新服务客户端失败时，手动更新客户端。 前提条件 Manager上已成功添加服务。 仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面，选择“集群 > 服务 > JobGateway > 实例”，查看所有JobServer实例节点IP。 获取部署了
已成功安装集群，包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择用户flume_hdfs，选择“更多 > 下
Storm-HBase开发指引 操作场景 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。
进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43008”的告
on业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43019”的告警
业务执行变慢或失败。 可能原因 该节点IndexServer2x进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43021”的告
该节点与主OMS节点NTP服务不能正常同步时间。 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。 该节点与主OMS节点NTP服务时间偏差太大。 处理步骤 检查该节点的NTP服务是否正常启动。 检查ntpd进程是否运行在告警节点上。登录告警节点，执行sudo su - root切换用户。执行
开发思路 查询table1表的数据。 根据table1表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
