检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
host = EIP(客户端节点弹性公网IP) spark-default.conf中添加spark.driver.bindAddress=本地IP spark-env.sh中修改SPARK_LOCAL_HOSTNAME=EIP(客户端节点弹性公网IP) 可能原因五:代码问题。 解决方法:
Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。用户可以配置如下参数,设置安全通道为加密的。
VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。当确认不再需要绑定EIP时,单击“解绑”将解绑与该集群绑定的可信任弹性公网IP,解绑后将无法从该IP访问MRS Manager页面。 说明:
登录MapReduce服务管理控制台。 选择“现有集群”,单击集群名,进入集群基本信息页面。 在“节点管理”页签单击任一节点名称,登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览,将本地文件上传到集群节点。 父主题: 集群管理类
自动创建 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“创建弹性公网IP”进入弹性公网IP服务进行购买。 说明: 弹性公网IP必须和集群在同一区域。
码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略,默认策略为如下: 无重启(No restart):若没有启用CheckPoint,默认使用该策略。 固定间隔(fixed-delay):若启用了CheckPoint,但没有配置重启策略,默认使用该策略。
hdfs://cluster2/target/20 如果多个源位置有相同名称的文件,则distcp命令会失败。 在不使用update和overwrite选项的情况下,如果被拷贝文件在目标位置中已经存在,则该文件会跳过。 在使用update选项的情况下,如果被拷贝文件在目标位置中已经存在,但文件内容不同,则目标位置的文件内容会被更新。
Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。
Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。
Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。
VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 自动创建 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 绑定一个弹性公网IP。 集群节点 配置集群节点信息。 保持默认值。 图3 自定义购买-硬件配置 单击“下
Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。
并发提交大量oozie任务时,任务一直没有运行 问题现象 并发提交大量oozie任务的时候,任务一直没有运行。 原因分析 Oozie提交任务会先启动一个oozie-launcher,然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,若想要通过备份包恢复集群元数据则没有可用的备份包数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错: exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
to another resource. 弹性公网IP绑定失败,此弹性公网IPxxx已经绑定到其他资源。 请使用其他未被占用的弹性公网IP 400 12000112 The EIP xxx does not exist. 弹性公网IPxxx不存在。 请检查绑定的EIP是否存在,使用正确的EIP进行绑定
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
随意修改omm用户下的文件目录或者文件权限 该操作会导致MRS集群服务不可用。 无。 绑定弹性公网IP 该操作会将集群的manager所在的master节点暴露在公网,会增大来自互联网的网络攻击风险可能性。 请确认绑定的弹性公网IP为可信任的公网访问IP。 开放集群22端口安全组规则 该操作会增大用户利用22端口进行漏洞攻击的风险。
容量,硬盘类型,内存大小灵活组合。 MRS提供了基于弹性公网IP来便捷访问组件WebUI的安全通道,并且比用户自己绑定弹性公网IP更便捷,只需界面鼠标操作,即可简化原先用户需要自己登录虚拟私有云添加安全组规则,获取公网IP等步骤,减少了用户操作步骤。 MRS提供了自定义引导操作,