-
配置Windows通过EIP访问安全模式集群HBase - MapReduce服务 MRS
管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群 > 服务 > HBase > 更多 > 下载客户端”,将客户端中的“core-site
-
如何查看MRS集群配置信息? - MapReduce服务 MRS
如何查看MRS集群配置信息? 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息,包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。其中,节点的实例规格和容量决定了该集群对数据的分析处理能力。节
-
配置Windows通过EIP访问安全模式集群HDFS - MapReduce服务 MRS
管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”,将客户端中的core-site
-
如何在CarbonData中配置非安全内存? - MapReduce服务 MRS
heap)访问超出配置的executor内存,则YARN可能会停止executor。 “Netty offheapmemory required”说明:当“spark.shuffle.io.preferDirectBufs”设为true时,Spark中netty 传输服务从"spark
-
如何查看各组件配置文件路径? - MapReduce服务 MRS
如何查看各组件配置文件路径? 常用组件配置文件路径如下所示: 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安装目录/f
-
如何在CarbonData中配置非安全内存? - MapReduce服务 MRS
heap)访问超出配置的executor内存,则YARN可能会停止executor。 “Netty offheapmemory required”说明:当“spark.shuffle.io.preferDirectBufs”设为true时,Spark中netty 传输服务从"spark
-
ALM-12057 元数据未配置周期备份到第三方服务器的任务 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,导致元数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤
-
准备Spark应用运行环境 - MapReduce服务 MRS
弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。 下载客户端程序,请参考下载MRS客户端。 登录客户端下载目标节点,以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf
-
配置HBase允许修改操作的IP地址白名单 - MapReduce服务 MRS
查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,在搜索框中输入参数名称。
-
使用调整集群节点接口时参数node - MapReduce服务 MRS
使用调整集群节点接口时参数node_id如何配置? 问: 使用调整集群节点接口时(/v1.1/{project_id}/cluster_infos/{cluster_id}),请求参数“node_id”如何配置? 答: 使用调整集群节点接口时,请求参数“node_id”的值固定为“node_orderadd”。
-
如何检查Yarn的ResourceManager配置是否正常? - MapReduce服务 MRS
如何检查Yarn的ResourceManager配置是否正常? 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面,选择“服务管理 > Yarn > 实例”。 分别单击两个ResourceManager名称,选择“更多 > 同步配置”,并选择不勾选“重启配置过期的服务或实例。”。
-
修改FusionInsight Manager添加的路由表 - MapReduce服务 MRS
分别执行以下命令,手动创建新的ntp服务路由信息。未配置外部NTP时钟源时,跳过此步骤。 ip route add default via NtpIP网关 dev 本机IP对应网卡 table ntp_rt ip rule add to ntpIP table ntp_rt 本机IP对应网卡是指可与NTP服务器所在网段互通的网卡。
-
如何修改Clickhouse服务的allow - MapReduce服务 MRS
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,
-
修改集群NTP服务器 - MapReduce服务 MRS
可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 前提条件 已准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。
-
如何通过集群外的节点访问MRS集群? - MapReduce服务 MRS
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
-
Flink Job Pipeline增强 - MapReduce服务 MRS
布者。 订阅者 通过NettySource接收上游Job发送的数据的Job称为订阅者。 注册服务器 保存NettyServer的IP、端口以及NettySink的并发度信息的第三方存储器。 总体架构是一个三层结构,由外到里依次是: NettySink->NettyServer->NettyServerHandler
-
准备本地应用开发环境 - MapReduce服务 MRS
选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。
-
ALM-12072 floatip资源异常 - MapReduce服务 MRS
新主环境上启动新的floatip资源,告警恢复。该告警用于提示用户,Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12072 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
-
Flink Job Pipeline样例程序(Java) - MapReduce服务 MRS
Job Pipeline样例程序(Java) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
-
Flink Job Pipeline样例程序(Scala) - MapReduce服务 MRS
Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。