检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并行文件系统”,填写以下参数,单击“立即创建”。 表2 并行文件系统参数 参数项 取值 区域 华北-北京四 文件系统名称 mrs-hbase 数据冗余存储策略 单AZ存储 策略 私有 归档数据直读 关闭 企业项目 default 标签 - 等待桶创建好,单击桶名称,选择“文件 > 上传文件”,将数据文件上传至OBS并行文件系统内。
需要使用操作系统中root用户,所有节点root用户需设置为统一的密码。 需要使用操作系统中ldap用户,此账号不能删除,否则可能导致集群无法正常工作。密码管理策略由操作系统管理员维护。 类别 用户名称 初始密码 描述 密码修改方法 系统管理员 admin 用户创建集群时自定义 FusionInsight
用户”,添加一个人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 参考添加Spark2x的Ranger访问权限策略章节,添加“ADD JAR操作”权限。 如果MRS集群未开启Kerberos认证,则无需创建用户。 安装MRS集群客户端。 安装MRS集群客户端,具体请参考安装客户端。
检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 使用HDFS客户端,以hdfs用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单,确
集群绑定的安全组基本信息界面,单击“入方向规则”,查看规则列表中是否有源地址为当前用户访问集群的IP地址、协议端口为“TCP:9022”且策略为“允许”的安全组规则;若没有则需单击“添加规则”放开9022端口。 例如当前用户访问集群的地址为10.x.x.x,则添加的安全组规则为:
“Kafka”。 单击“Policy Name”名称为“all - topic”操作列的。 在“Allow Conditions”区域新增策略允许条件,“Select User”列勾选2.a新建的用户名称,“Permissions”列勾选“Select/Deselect All”。
启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。 创建计算实例并确保运行正常,可参考创建HetuEngine计算实例。 步骤二:获取JDBC jar包并配置主机映射
用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [ {
“Kafka”。 单击“Policy Name”名称为“all - topic”操作列的。 在“Allow Conditions”区域新增策略允许条件,“Select User”列勾选2.a新建的用户名称,“Permissions”列勾选“Select/Deselect All”。
-PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 连接DBalancer服务,DBalancer根据配置策略连接FE节点访问Doris数据库: mysql -u数据库登录用户 -p -PDBalancer TCP访问端口 -hDoris DBalancer实例IP地址
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务
取数据,请修改备集群角色的权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 同步主集群表数据。 检查配置HBase容灾并启用数据同步后,主集群是否已存在表及数据,且历史数据需要同步到备集群?
角色。且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限,具体操作请参考添加HetuEngine的Ranger访问权限策略。 已安装集群客户端,例如安装目录为“/opt/client”。 访问Hive数据源步骤 创建并启动HetuEngine计算实例。 使用H
se,介于Map phase和Reduce phase之间,当Map的输出结果要被Reduce使用时,每一条输出结果需要按key哈希,并且分发到对应的Reducer上去,这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运行效率。
启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。 创建计算实例并确保运行正常,可参考创建HetuEngine计算实例。 步骤二:获取JDBC jar包
在集群创建完成后,可以手动配置集群组件元数据存储至外部数据源,可参考管理MRS集群元数据。 本地元数据 组件端口 当前MRS集群内各组件默认通讯端口值的策略,LTS版本集群支持配置。 开源:开源组件的默认通讯端口遵循开源社区的规范不做修改,与开源社区保持一致。 定制:定制组件的默认通讯端口与开源社区不一致。
用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [ {
Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight
k、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启
检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 使用HDFS客户端,以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单