检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase访问HDFS的RPC通道。 说明: 设置后全局生效,即Hadoop中各模块的RPC通道的加密属性全部生效。 安全模式:privacy 普通模式:authentication 说明: “authentication”:只进行认证,不加密。
" }, "region": "", "availability_zone": "", "vpc_name": "vpc-37cd", "subnet_name": "subnet-ed99", "components": "Hadoop,Spark2x,HBase
指定参数值为“hbase”表示MRS端使用HBase。在导入作业和导出作业中,支持修改启动的map数量“-extractors”。 任务实例 不更新作业参数,直接运行名称为“sftp-hdfs”的作业。 .
该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制用户对资源的访问范围。
指定参数值为“hbase”表示MRS端使用HBase。在导入作业和导出作业中,支持修改启动的map数量“-extractors”。 任务实例 不更新作业参数,直接运行名称为“sftp-hdfs”的作业。 .
表1 组件认证方式一览表 服务 认证方式 IoTDB simple认证 CDL 无认证 ClickHouse simple认证 Flume 无认证 HBase WebUI:无认证 客户端:simple认证 HDFS WebUI:无认证 客户端:simple认证 HetuEngine
约束限制: 不涉及 取值范围: hive_metastore:Hive Metastore角色 hive_data:Hive角色 hbase_data:HBase角色 ranger_data:Ranger角色 默认取值: 不涉及 source_type 否 String 参数解释:
8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。
不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。
8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。
例如HDFS,HBase,Hive。 用户可以方便地创建、管理、执行SQL,并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作: HDFS: 查看、创建、管理、重命名、移动、删除文件/目录。 上传、下载文件。
例如HBase可以作为ZooKeeper集群的客户端,利用ZooKeeper集群的仲裁功能,控制其HMaster的“Active”和“Standby”状态。
表1 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster Flink FlinkResource 否 FlinkServer Flume Flume 是 MonitorServer HBase
服务 配置当前租户关联使用的其他服务资源,支持HBase。单击“关联服务”,在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源,选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。 单击“确定”保存,完成租户添加。
Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。
由于HBase使用的Ruby语法限制,如果安装的客户端中包含了HBase客户端,建议客户端安装目录路径只包含大写字母、小写字母、数字以及_-?.@+=字符。 使用客户端 在已安装客户端的节点,执行sudo su - omm命令切换用户。
基本安全认证: com.huawei.bigdata.hdfs.examples包的HdfsExample类样例程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可。示例代码如下: ...
典型的Sink类型如下: 存储数据到最终目的终端Sink,比如:HDFS、HBase。 自动消耗的Sink,比如:Null Sink。 用于Agent间通信的IPC Sink:Avro。 Sink必须作用于一个确切的Channel。
除MRS 3.1.0、3.1.5、3.2.0-LTS.1以外的3.x版本集群,需执行以下操作: 若待退订的节点中部署了HDFS的DataNode、Yarn的NodeManager或HBase的RegionServer,需登录Manager退服相关实例,具体请参考退服和入服MRS角色实例