检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建HBase目的端连接安全集群下的换包操作指南 操作场景 本指导介绍在创建HBase目的端连接且集群部署在安全集群下时,需要进行的换包操作及相关步骤。 操作步骤 换包操作。 在安装MgC Agent的主机,执行如下命令,进入MgC Agent指定目录。 cd /opt/clou
连接成功后,需要在MgC Agent上分别添加源端MRS HBase凭证和目的端MRS HBase凭证,类型选择“大数据-HBase”,认证方式选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。其中用户名输入HBase客户端登录用户名,密钥需要上传以下配置文件: 非安全集群(未
Agent的主机上配置/etc/hosts后,HBase元数据连接才能连接成功。host文件的获取方法请参见准备开发和运行环境。 HBase凭证 选择在MgC Agent添加的HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。
需要在安装Edge的主机上配置/etc/hosts后,HBase元数据连接才能连接成功。host文件的获取方法请参见准备开发和运行环境。 HBase凭证 选择在Edge添加的HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。
填写源端Doris数据库名称。 表2 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 HBase凭证 选择在MgC Agent添加的源端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。
表2 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 HBase凭证 选择在Edge添加的源端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群
”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS 3.1.0版本普通集群使用YARN模式的换包操作指南
填写目的端Doris数据库名称。 表2 HBase组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 HBase凭证 选择在Edge添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。
填写目的端Doris数据库名称。 表2 HBase组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 HBase凭证 选择在MgC Agent添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。
址”。 表3 CloudTable(HBase)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudTable-HBase-4位随机数(字母和数字)”,也可以自定义名称。 CloudTable(HBase)凭证 非安全集群,无需凭证。 安全集群
址”。 表3 CloudTable(HBase)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudTable-HBase-4位随机数(字母和数字)”,也可以自定义名称。 CloudTable(HBase)凭证 非安全集群,无需凭证。 安全集群
执行如下命令,删除目录下的旧包。 rm -f hadoop-c* hadoop-m* hadoop-y* zookeeper-* hbase-* hadoop-h* 从集群HBase客户端复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为安全集群的用户名和IP地址。 scp
支持的源端、目的端组件 源端组件 目的端组件 Hive Hbase Doris MaxCompute ClickHouse Delta Lake Hudi Hive DLI MRS(Doris) MRS(Hbase) MRS(ClickHouse) CloudTable(ClickHouse)
支持的源端、目的端组件 源端组件 目的端组件 Hive Hbase Doris MaxCompute ClickHouse Delta Lake Hudi Hive DLI MRS(Doris) MRS(Hbase) MRS(ClickHouse) CloudTable(ClickHouse)
端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接
MongoDB采集器(app-discovery-mongodb) 采集MongoDB服务信息,获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-mongodb-xxx
创建目的端统计任务时,选择目的端Doris连接。 HBase连接 HBase组件和CloudTable(HBase)组件配置参数。 创建源端统计任务时,选择源端HBase连接。 创建目的端统计任务时,选择目的端HBase或CloudTable(HBase)连接。 ClickHouse连接 C
创建目的端统计任务时,选择目的端Doris连接。 HBase连接 HBase组件和CloudTable(HBase)组件配置参数。 创建源端统计任务时,选择源端HBase连接。 创建目的端统计任务时,选择目的端HBase或CloudTable(HBase)连接。 ClickHouse连接 C
MgC自定义策略 如果系统预置的MgC权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板
MgC自定义策略 如果系统预置的MgC权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板