检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
择步骤4.在Edge侧所添加的源端Hive Metastore凭证。 Hive版本 选择源端Hive的实际版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。 在元数据采集区域,单击“创建任务
后面加上“/”。 表3 目的端信息参数说明 参数 说明 数据站点类型 选择“华为云OBS”. AK 输入华为云迁移账号的访问密钥和私有密钥。该账号需要拥有目的端桶的读写权限。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。
Turbo时,输入目的端文件系统的共享路径。共享路径可以在SFS Turbo文件系统列表页面,单击共享路径后面的图标复制获取。 文件存储服务地址+路径的组合可以重复。 路径 输入目的端接收文件的路径,格式为:/文件夹。 - 配置完成后,单击操作列的“保存”。所有资源的目的端配置完成后,
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,
采集原理:连接数据库,基于数据库的查询语句进行采集。 中间件采集 权限要求: Redis:使用具有基本访问权限的普通账号即可。 Kafka:需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software
在下拉列表中选择虚拟私有云。 - 子网 选择与虚拟私有云网段相同且满足可用IP数的子网。 子网的可用IP数≥迁移节点数+列举节点数+1。 模式选择 选择内网模式。 同一个Region是内网迁移无需绑定EIP。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,则不进行流量控制。
HTTP/HTTPS数据源 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 逻辑架构图 通过迁移中心进行存储数据迁移的逻辑架构图如图1所示。
执行机凭证 选择步骤4.在Edge侧添加的目的端MRS执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用
30天内的CPU负载和内存负载平均值。单击“性能分析”,可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。 单击主机规格后的“更改规格”,可以修改目的端主机规格和镜像。 单击磁盘对应的目的端规格处的
更低性能的规格类型,直至按照性能顺序检索完全部对标的虚拟机规格类型,如果仍无符合要求的规格,则会报错提示。 优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。
储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的同名对
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
选择与虚拟私有云网段相同且满足可用IP数的子网。 子网的可用IP数≥迁移节点数+列举节点数+1。 模式选择 公网:使用公网迁移,并选择公网网关。如果没有可用网关,选择“新建网关”,选择网关规格和EIP(EIP最多支持同时勾选20个)。 内网:使用内网迁移,适用于同一区域内的迁移场景。 专线:使用专线
配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 阿里云凭证 选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxComp
本节介绍如何使用文件存储批量迁移模板,批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖、直接覆盖和条件覆盖。选择“不覆盖
在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。 单击主机规格后的“更改规格”,可以修改目的端主机规格和镜像。 单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行
本文介绍如何使用迁移中心(MgC)的迁移方案配置功能和文件存储批量迁移模板,以高效完成文件存储的批量迁移工作。 源端支持的类型:NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_NFS_V3_MOUNT。 约束与限制 存储迁移的约束与限制同
亚太-新加坡 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提
性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 主机资源,可以进行以下偏好设置,推荐目的端时优先推荐满足偏好设置要求的主机。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。