检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader支持批量删除已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待删除作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
PEN状态，导致建表失败。 由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复，需要删除该表后重新建表。 操作步骤如下： 在集群客户端使用如下命令修复表的状态。 hbase hbck -j ${CLIENT_HOME}/HBase/hbase/tools/hbase-hbck2-1
该任务指导用户通过Hue界面提交Loader类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。 在弹出的“Loader”窗口中配置“Job id”的值，例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值，可从Loader页面获取。
@bdpsit3ap03 ~]# MRS集群中的用户管理由LDAP服务管理提供，又依赖于操作系统的sssd或nscd服务，用户的建立到同步到sssd服务需要一定时间，如果此时用户没有生效，或者sssd版本存在bug的情况下，某些情况下在ZooKeeper节点会出现用户无效的情况，导致创建Topic异常。
心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图2所示。 图2 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。 用户的应用可能只用到集群的部分资源，资源利用效率低。 不同用户的数据可能存放在一起，难以保证数据安全。
查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。 本章节适用于MRS
install安装Python时报错网络不可达。 具体如下图所示： 原因分析 用户未给Master节点绑定弹性公网IP，造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”，选中当前安装出问题的集群并单击集群名称，进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Mast
登录Manager时界面报错“认证信息无效” 问题现象 登录MRS集群的Manager界面时，输入用户名及密码信息后登录失败，界面提示“认证信息无效”。 原因分析 当前输入的用户名或密码信息错误。 当前登录用户的密码已过期。 处理步骤 如果用户密码输入错误，请检查并输入正确密码。 MRS集群
PEN状态，导致建表失败。 由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复，需要删除该表后重新建表。 操作步骤如下： 在集群客户端使用如下命令修复表的状态。 hbase hbck -j ${CLIENT_HOME}/HBase/hbase/tools/hbase-hbck2-1
该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”，打开Workflow编辑器。 单击“文档”， 在操作列表中选择Hive脚本，将其拖到操作界面中。 在弹出的“HiveServer2 Script”框中
该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。 在弹出的“Sub workflow”窗口中配置“Sub-workflow”的值，例如从下拉列表中选取“Jav
cannot be loaded: plugin not enabled 原因分析 未启用mysql_clear_password插件。 操作步骤 使用MySQL客户端连接Doris数据库时，在命令中新增“--enable-cleartext-plugin”，命令如下： mysql
已创建具有Spark管理操作权限的用户，用户组添加hadoop、hive、supergroup，主组添加hadoop。 操作步骤 使用具有Spark管理操作权限的用户登录Manager页面，选择“集群 > 服务 > Spark”。 进入Spark概览页面中，单击Spark Web UI后对应的“JobHistory(xxx)”进入Spark
该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。 在弹出的“Sub workflow”窗口中配置“Sub-workflow”的值，例如从下拉列表中选取“Jav
MRS 2.x及之前版本集群，用户的MRS集群启动Yarn后产生大量作业，占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0，导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面，在“现有集群”中，单击对应的集群名称，进入集群详情页面。
执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-*/spark/examples/jars命令， 查看样例程序的jar包。 j
在出现告警时间点发现虚拟机发生了重启，告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会使进程处于disk sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。 结论：虚拟机内存不能满足服务需求。
的是丢失的这个task在哪个节点上面运行，一般的情况是这个丢失的task异常退出导致的。 处理步骤 问题1： 对于数据量过大，需要调整executor的内存大小的，使用--executor-memory指定内存大小； 对于同时运行的task太多，主要看--executor-cores设置的vcore数量。
shell命令。 原因分析 执行hbase shell命令前未配置环境变量。 当前MRS集群未安装HBase客户端。 处理步骤 使用root用户登录安装客户端的节点，切换到客户端安装目录，查看是否安装了HBase客户端。 是，执行2。 否，下载并安装HBase客户端，详细操作请参考安装客户端章节。
访问FusionInsight Manager系统，进行查询、添加、删除等操作。 流程分解 根据上述的业务场景进行功能分解，需要开发的功能点如表1所示。 表1 在Manager中开发的功能 序号 步骤 代码实现 1 添加用户 请参见添加Manager用户。 2 查找用户 请参见查找Manager用户。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
