检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job_1456738266914_0005 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapReduce任务,用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。 具体操作:登录FusionInsight
删除不再使用的安全组规则。 在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。
job_1456738266914_0005 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapReduce任务,用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。 具体操作:登录FusionInsight
loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件
个方面。 查看ZooKeeper中znode的ACL。 增加ZooKeeper中znode的ACL。 修改ZooKeeper中znode的ACL。 删除ZooKeeper中znode的ACL。 ZooKeeper的ACL权限说明: ZooKeeper目前支持create,dele
向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapReduce任务,用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。
单击“节点管理”,展开Master节点组列表,查看集群Master1、Master2节点的IP地址信息。 使用root用户登录待安装客户端的节点,执行以下命令编辑NTP配置文件,增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。 vi /etc/ntp.conf server master1_ip
操作场景 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Strom应用业务步骤,打出source
如果需要安装客户端的服务器在集群外,且本服务器上NTP服务器模式与集群内NTP服务器模式一致,即执行./install.sh /opt/hadoopclient命令安装客户端。 如果需要安装客户端的服务器在集群外,且本地服务器上NTP服务器模式与集群内NTP服务器模式不一致,即执行
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Local Manager HA Name 本地Manager HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 备Mana
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Pyt
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Pyth
操作场景 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Storm业务步骤,打出source
会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。
选择主DBServer实例,记录IP地址。 登录上述IP所在主机,执行ifconfig命令查看DBService的浮动IP在该节点是否存在。 是,执行1.f。 否,执行2.a。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态,是否能ping通。 是,执行1.g。
户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 操作步骤 根据前提条件,创建一个满足要求的弹性云服务器。 登录集群详情页面,选择“组件管理”。
RS集群的运行不受影响。MRS集群到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月MRS集群续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月MRS集群从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。
ReadOnlyAccess、MRS FullAccess权限,无法在控制台提交作业,怎么办? 答: 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess权限,由于权限优先级的问题导致了当前在控制台界面无法添加作业。 当IAM子账号所在组同时有MRS FullAccess、MRS
参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务(map/reduce)需要读写数据至磁盘,多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能,请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 *
当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文