检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/conf/login/hdfs.keytab 登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,“本端域”参数即为当前系统域名。
在主管理节点执行以下命令,获取当前环境NTP服务器域名。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent(); ConsumerStrategy consumerStrategy = ConsumerStrategies.Subscribe
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent(); ConsumerStrategy consumerStrategy = ConsumerStrategies.Subscribe
/user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件,这样才能保证keytab文件被加载到executor
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。
如果本地Windows与集群之间网络不通,需要为每个HBase节点以及ZooKeeper节点配置EIP,并且在本地Windows的hosts文件添加所有节点的公网IP对应主机域名的映射关系,例如: 如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。
cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig 执行以下命令将域名映射关系导入到hosts文件中。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
/user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件,这样才能保证keytab文件被加载到executor
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 下载并解压客户端软件包。
com.microsoft.jdbc.sqlserver.SQLServerDriver mysql:com.mysql.jdbc.Driver postgresql:org.postgresql.Driver gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址,可以是IP地址或者域名
KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名
com.microsoft.sqlserver.jdbc.SQLServerDriver mysql:com.mysql.jdbc.Driver postgresql:org.postgresql.Driver gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址,可以是IP地址或者域名
图1 HDFS数据迁移示意 前提条件 已获取OBS的访问域名、端口,以及AK、SK信息。 已经创建包含有Hadoop服务的MRS集群。 拥有EIP配额并创建EIP。
KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名
本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。
Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从终端节点中获取。例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。