检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端节点为集群外部服务器且此节点无法与主OMS节点的业务平面IP互通时或者无法访问主节点的20029端口时,客户端可以正常安装成功,但无法注册到集群中,无法在界面上进行展示。 检查客户端是否安装成功。 执行以下命令进入客户端安装目录并加载环境变量。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
/user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件,这样才能保证keytab文件被加载到executor
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。
如果本地Windows与集群之间网络不通,需要为每个HBase节点以及ZooKeeper节点配置EIP,并且在本地Windows的hosts文件添加所有节点的公网IP对应主机域名的映射关系,例如: 如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。
<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent(); ConsumerStrategy consumerStrategy = ConsumerStrategies.Subscribe
/user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件,这样才能保证keytab文件被加载到executor
<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent(); ConsumerStrategy consumerStrategy = ConsumerStrategies.Subscribe
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。
) throw Exception; /** *将信息注册到某个topic节点(目录)下 * @param topic 需要注册到的目录 * @param registerRecord 需要注册的信息 */ void register(String topic, RegisterRecord
注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。
) throw Exception; /** *将信息注册到某个topic节点(目录)下 * @param topic 需要注册到的目录 * @param registerRecord 需要注册的信息 */ void register(String topic, RegisterRecord
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。
实现类注册器并手动注册类。
实现类注册器并手动注册类。
KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名
图1 HDFS数据迁移示意 前提条件 已获取OBS的访问域名、端口,以及AK、SK信息。 已经创建包含有Hadoop服务的MRS集群。 拥有EIP配额并创建EIP。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。