检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。
打开Hue页面的时候提示“Proxy Error”。 原因分析 网络故障(如:错包率高、高延迟等)导致Httpd没有接收到报文或者接收到了错误报文。 时钟跳变或其他因素的影响导致Httpd服务与Hue服务认证关系失效。 排查思路 排查是否发生过网络故障或时钟跳变。 排查当前是否发生过或仍存在Hue服务相关告警。
出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。
全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase.thrift
全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase.thrift
置对应的项目,然后使用企业项目管理对MRS上的资源进行分组管理: 支持用户为多个资源进行分组管理。 支持用户查看企业项目下的资源信息、消费明细。 支持用户对企业项目级别的访问权限控制。 支持用户分企业项目查看具体的财务信息,包括订单、消费汇总、消费明细等。 若MRS集群与VPC不
会自动借给其他租户,当租户能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。 最大资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
oracle-partition-connector:支持Oracle分区特性的连接器,专门对Oracle分区表的导入导出进行优化。 建议将SFTP服务器和数据库服务器与Loader部署在独立的子网中,以保障数据安全地导出。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展,实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”,同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader模型主要由Loader
外置数据连接:可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中,不会随当前MRS集群的删除而删除,多个MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为: 安装了Hive组件的集群支持连接“RDS服务Postgr
在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的ECS的IP,并配置安全组出入规则。
定义Column的数量和类型。HBase中表的列非常稀疏,不同行的列的个数和类型都可以不同。此外,每个CF都有独立的生存周期(TTL)。可以只对行上锁,对行的操作始终是原始的。 Column 与传统的数据库类似,HBase的表中也有列的概念,列用于表示相同类型的数据。 RegionServer数据存储
虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker:HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。 Co
选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创
Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${
使用HBase BulkLoad功能提示权限不足如何处理 问题 租户使用HBase bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如: 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。
传输,服务模块跨信任区的数据访问支持双向证书认证等能力。 MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源(资源包括计算资源和存储资源)的能力。多租户将大数据集群的资源隔离成一个个资源集
3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(3