检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录 source ./bigdata_env source .
source HDFS客户端安装目录/bigdata_env 如果集群为安全模式,执行以下命令认证用户身份。 kinit hdfs 在HDFS客户端执行以下命令,检查HDFS根目录下全部目录和文件是否状态正常。
登录客户端所在节点,配置环境变量并认证用户(未开启Kerberos认证的集群无需操作)后执行如下命令: zkCli.sh -server ip:port 其中ip可以为任意管理IP,port默认值是2181。 当看到如下输出信息时,表示已经成功连接上Zookeeper服务器。
访问启用Kerberos认证的集群时,需要输入MRS集群的用户名和密码,例如“admin”用户。未启用Kerberos认证的集群则不需要。 第一次访问时,请根据浏览器提示,添加站点信任以继续打开页面。 退出访问Manager时,请终止并关闭SSH隧道。 父主题: 存算分离常见问题
访问启用Kerberos认证的集群时,需要输入MRS集群的用户名和密码,例如“admin”用户。未启用Kerberos认证的集群则不需要。 第一次访问时,请根据浏览器提示,添加站点信任以继续打开页面。 退出访问Manager时,请终止并关闭SSH隧道。 父主题: 管理MRS集群
历史集群:仅包含“已删除”的集群,目前界面只显示6个月内创建且已删除的集群,若需要查看6个月以前删除的集群,请联系华为云支持人员。 失败任务管理:单击可查看“失败”状态的集群创建任务。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称,创建集群时设置。
如果客户端和服务端的服务名不一致,认证会失败。
准备MRS应用开发用户时获取的keytab认证文件也放置于该目录下。
前提条件 如果数据要备份至远端HDFS中,需满足以下条件: 需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。
前提条件 如果数据要备份至远端HDFS中,需满足以下条件: 准备一个用于备份数据的备集群,认证模式需要与主集群相同。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。
user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。
MySQL或Postgres数据库,可以查看到1创建的元数据库中有元数据表生成: 步骤四:验证Hive元数据库是否外置成功 以客户端安装用户登录安装Hive客户端的节点: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群请跳过该操作
source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。
进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录 source ./bigdata_env source .
慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘
未开启Kerberos认证的普通集群执行1~2即可完成跨集群互信配置,开启Kerberos认证的安全集群请继续执行后续步骤进行配置。 分别登录两个集群的MRS Manager界面,单击“服务管理”,查看全部组件的“健康状态”结果,是否全为“良好”? 是,执行4。
安全机制 提供基于Kerberos的认证以及可插拔的授权机制,提供支持SSL的Storm UI以及Log Viewer界面,同时支持与大数据平台其他组件(如ZooKeeper,HDFS等)进行安全集成。
flink-conf.yaml”的以下配置项获取: nettyconnector.registerserver.topic.storage: /flink/nettyconnector ZookeeperRegisterServerHandler与ZooKeeper之间的SASL认证通过
country=country --state=state --city=city --company=company --organize=organize --common-name=commonname --email=管理员邮箱 --password=password 命令中如果携带认证密码信息可能存在安全风险