检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后等待5分钟，检查告警是否清除。 是，结束。 否，执行3。 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询MRS集群管理员。执行如下命令： 安全模式： cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式： su - omm
在日志中搜索关键字“slow”，确认发生慢操作的上下游节点信息。 检查当前节点与10中获取的节点之间的网络通信是否通畅。 是，执行13。 否，联系网络管理员修复网络。 等待5分钟，检查该告警是否恢复。 是，操作结束。 否，执行13。 收集故障信息。 在FusionInsight Manager界面，选择“运维
告警”，选中“告警ID”为“19017”的告警，查看“附加信息”中的阈值。 以root用户登录HBase客户端，用户密码为安装前用户自定义，请咨询系统管理员。执行以下命令进入客户端安装目录： cd 客户端安装目录 然后执行以下命令设置环境变量： source bigdata_env 如果集群
数据目录磁盘空间使用率 等待2分钟查看告警是否自动恢复。 是，处理完毕。 否，执行5。 检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。 执行以下命令，查看数据目录磁盘空间下超过500MB的文件，检查该目录下是否有误写入的大文件存在。 source $DBSERVER_HOME/
代码设置运行用户。若在没有修改代码的场景下，执行以下语句添加环境变量： export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例，若需运行Colocation相关操作的样例代码，则此用户需属supergroup用户组。 执行如下命令，运行Jar包。
的，由Driver进行协调。 在运行一个应用时，Driver会去连接集群管理器（Standalone、Mesos、YARN）申请运行Executor资源，并启动ExecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。
在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”，下载路径为主管理节点的“/tmp/FusionInsight-Client”： cd /tmp/FusionInsight-Client tar -xvf
公用参数介绍 分类 参数 说明 连接数据库 --connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名
Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址，附加信息内容。 以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log，检索关键字“LOG
的主机名所在的节点IP地址。 获取ZooKeeper进程pid。以root用户登录到告警上报的节点，用户密码为安装前用户自定义，请咨询系统管理员，执行命令：pgrep -f proc_zookeeper。 是否正常获取pid。 是，执行4。 否，执行15。 获取所有与当前ZooK
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”，下载路径为主管理节点的“/tmp/FusionInsight-Client”： cd /tmp/FusionInsight-Client tar -xvf
获取2中查看到的NodeManager目录，以root用户登录每个NodeManager节点，并进入获取到的目录，用户密码为安装前用户自定义，请咨询系统管理员。 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限，确认权限是否是“755”，且“用户:属组”是否为“omm:ficommon”。
创建MRS集群时配置弹性伸缩 创建集群时，弹性伸缩功能可以通过在高级配置参数中进行配置。 仅分析集群、流式集群和混合集群支持创建集群时配置弹性伸缩策略。 登录MRS管理控制台。 在购买包含有Task类型节点组件的集群时，参考自定义购买MRS集群配置集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩
1所示。 表1 splitlog参数说明 参数 描述 默认值 hbase.splitlog.manager.timeout 分布式日志分裂管理程序接收worker回应的超时时间 600000 父主题： HBase故障排除
i时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。 父主题： Hudi数据表设计规范
长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS
} ... 以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例，实际操作时请联系管理员获取相应权限的账号以及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager，选择“系统 > 权限
9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作： 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列，单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。 [root@host1
执行完工作流文件，显示job id表示提交成功，例如：job: 0000021-140222101051722-oozie-omm-W。登录Oozie管理页面，查看运行情况。 使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
