检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper角色实例所在节点IP获取参考如下: 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。查看ZooKeeper角色实例的IP地址。
本章节只适用Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认产品Storm组件已经安装,且正常运行。
支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,MRS集群管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。
INFOorg.apache.zookeeper.ClientCnxn- EventThread shut down -----------finish HBase ------------------- HBase/Phoenix对接SpringBoot运行结果: 在浏览器中访问链接
本章节只适用Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm组件已经安装,且正常运行。
图5 数据操作流程 对HBase进行增、删、改、查数据操作时,HBase Client首先连接ZooKeeper获得“hbase:meta”表所在的RegionServer的信息(涉及NameSpace级别修改的,比如创建表、删除表需要访问HMaster更新meta信息)。
在hosts文件中没有配置主机名和IP的对应关系,导致使用主机名进行访问时,无法获取信息。 在hosts文件中添加对应的主机名和IP的对应关系。 Linux Windows 父主题: 使用Kafka
为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL(默认为“3306”)和PostgreSQL(默认为“5432”)数据库端口。
su - omm cd /opt/client source bigdata_env 执行以下命令验证集群是否可以访问OBS。 hdfs dfs -ls obs://mrs-demo-data/flink 提交Flink作业,指定源文件数据进行消费。
在本实践中,需要确保本地环境与MRS集群所在网络平面互通,通常可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问集群HBase。
修改阈值类告警触发规则 参考访问FusionInsight Manager(MRS 3.x及之后版本)登录MRS集群的FusionInsight Manager界面。 选择“运维 > 告警 > 阈值设置”。 在监控分类中选择集群内指定主机或服务的监控指标。
可以使用一个数据库表中的一列或多列,提供了快速随机查找和有效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执行的计算逻辑的接口。
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群监控 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 重启集群组件步骤 进入MRS集群组件管理页面。 通过管理控制台操作:登录MRS管理控制台,单击集群名称进入集群详情页面,单击“组件管理”。
如果服务启用了Ranger鉴权,创建完成用户后,除了系统默认用户组及默认角色的权限外,需通过Ranger WebUI为用户或者用户所关联的角色/用户组进行赋权,具体操作可参考配置组件权限策略相关访问权限策略设置章节。
对于MapReduce访问多组件样例程序,操作步骤如下。
MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。
如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份Manager数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 图1 创建备份任务 在“任务名称”填写备份任务的名称。
对于MapReduce访问多组件样例程序,操作步骤如下。
当输入的数据被触发处理时,每个key只需一个操作即可访问状态,可以很大程度减少状态开销并获得更好的吞吐量。但是可能会增加一些延迟,因为它会缓冲一些记录而不是立即处理,这是吞吐量和延迟之间的权衡。默认未开启该功能。