检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
identifier_type String 参数解释: 委托类型,分为“User”和“Group”两种。 约束限制: 不涉及 取值范围: User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。
心与线上云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用线上云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合计算环境。 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 弹性IP访问和云专线访问可
bcd。 “认证密码”和“加密密码”密码长度为8到16位,至少需要包含大写字母、小写字母、数字、特殊字符中的3种类型字符。两个密码不能相同。两个密码不可和安全用户名相同或安全用户名的倒序字符相同。 使用SNMP协议从安全方面考虑,需要定期修改“认证密码”和“加密密码”密码。 使用SNMP
如果用户需要在统一的告警平台查看集群的告警和事件,管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密,传输数据容易被窃取,存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Mast
是 String 参数解释: 委托类型,分为“User”和“Group”两种。 约束限制: 不涉及 取值范围: User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。
停止所有与HDFS、HBase、Hive相关的业务和作业,然后停止HBase、Hive服务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时,请创建两个VPC之间的网络连接,打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VPC管理控制台,
拥有该权限的用户必须同时拥有Tenant Guest和Server Administrator权限。 RBAC策略 表2列出了MRS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统策略的授权关系 操作 MRS FullAccess MRS CommonOperations
典型场景:从HBase导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查
搬迁数据量较大时,对网络通信要求较高,执行搬迁任务时,可能会影响其他业务,建议在业务空闲期进行数据迁移任务。 迁移Hive数据 登录CDM管理控制台。 创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和MRS集群之间网络互通。 在“集群
登录华为云管理控制台,在服务列表中选择“网络 > 弹性负载均衡 ELB”。 在“负载均衡器”界面右上方单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,配置以下参数,其他参数保持默认即可: 实例类型:选择“共享型”。 计费模式:选择“按需计费”。 企业项目:选择“default”。 “所属VPC”和“前端子网”参数需要和MRS
Hive支持的传统关系型数据库语法说明 概述 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当Group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
典型场景:从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间,
Hive支持的传统关系型数据库语法说明 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
数据复制 根据源集群与目标集群分别所处的区域及网络连通性,可分为以下几种数据复制场景。 同Region 当源集群与目标集群处于同一Region时,根据打通数据传输通道进行网络配置,打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以
"vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create"
典型场景:从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁
典型场景:从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
典型场景:从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检
典型场景:从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。