检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
component client is installed successfully 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env
”,界面提示“操作成功。”,单击“完成”,集群成功停止。 登录主管理节点。 执行以下命令切换用户: sudo su - omm 执行以下命令,防止超时退出。 TMOUT=0 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-0.0.1/tools 执行以下命令,更新集群密钥。
备集群将变成主集群,接管上层业务。 操作步骤 确保上层业务已经停止 确保上层业务已经停止,如果没有停止,先执行 参考HBase容灾集群业务切换指导。 关闭主集群写功能 下载并安装HBase客户端。 具体请参考安装客户端(3.x及之后版本)章节。 在备集群HBase客户端,以hba
eFormation”数据连接。 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。当使用Flume客户端时,必须配置此项。
通过JDBC客户端代码连接JDBCServer,来访问SparkSQL的数据。详细指导请参见通过JDBC访问Spark SQL样例程序。 增强特性 对比开源社区,华为还提供了两个增强特性,JDBCServerHA方案和设置JDBCServer连接的超时时间。 JDBCServerHA方案,多个JDBCS
FusionInsight_Cluster_1_Services_ClientConfig scp HBase/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/Bigdata/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
FusionInsight_Cluster_1_Services_ClientConfig scp Storm/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表3所示。 表3 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。
FusionInsight_Cluster_1_Services_ClientConfig scp Yarn/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
数据。 数据备份至NAS前,系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。在备份结束后,系统会卸载备份任务执行节点的NAS共享分区。 为防止备份恢复失败,数据备份及恢复期间,请勿访问NAS服务器挂载至本地的共享地址,如:“/srv/BigData/LocalBackup/nas”。
例如,上传Yarn客户端的“core-site.xml”文件则执行以下命令: scp Yarn/config/core-site.xml root@客户端节点IP地址:/opt/hadoopclient/conf 参考以上命令依次上传表1中的所有配置文件。 检查客户端节点网络连接。 在安装客户端过程中,
FusionInsight_Cluster_1_Services_ClientConfig scp Yarn/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
FusionInsight_Cluster_1_Services_ClientConfig scp HBase/config/* root@客户端节点IP地址:/opt/client/conf 准备MRS应用开发用户时获取的keytab文件也放置于该目录下。 检查客户端节点网络连接。 在安装客户
FusionInsight_Cluster_1_Services_ClientConfig scp Yarn/config/* root@客户端节点IP地址:/opt/client/conf 准备MRS应用开发用户时获取的keytab文件也需放置于该目录下。 检查客户端节点网络连接。 在安装客
用。 根据表1填写转储参数。 图1 转储参数 表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标IP的IP地址模式,可选择“IPv4”或者“IPv6”。 SFTP IP 192.168.xxx.xxx 指定审计日志转储后存放的SFTP服务器,建议使用基于SSH
"用户性别", `phone` LARGEINT COMMENT "用户电话", `address` VARCHAR(500) COMMENT "用户地址", `register_time` DATETIME COMMENT "用户注册时间" ) UNIQUE KEY(`user_id`, `username`)
Hive配置 登录MRS控制台,在左侧导航栏选择“现有集群” ,单击集群名称。 选择“组件管理 > Hive > 服务配置”。 将“基础配置”切换为“全部配置”,搜索并配置如下参数: 表1 数据加密参数 参数 取值 说明 fs.obs.server-side-encryption-type