检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
采集主机资源。 MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。 图1 采集方式 源端主机位于第三方云平台:源端为阿里云、华为云、AWS、腾讯云、Azure等云平台主机,推荐使用公网采集,也可以使用各场景通用的手动添加方式。 源端主机位于
导入阿里云资源清单 从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括:
题原因,或联系阿里云技术支持人员。 AK/SK无效。 请检查所选凭证的AK/SK是否正确。 调用阿里云Kafka SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云Kafka服务。 调用阿里云Topic SDK失败。 请参考阿里云资源管理产品文档进行API
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。 迁移工具Ed
开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。 迁移工具Ed
开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。 MgC Ag
开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。 MgC Ag
允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含:读取和列表,如果要迁移归档类对象权限则需要再勾选:写入。 开始和到期日期/时间 需要确保在迁移任务过程中,连接字符串不会失效。 单击“生成SAS和连接字符串”,即可显示连接字符串和SAS令牌、Blob服务SAS
如何获取云平台凭证(AK/SK)? 本节为您介绍如何获取添加云平台凭证所需的认证信息(访问密钥)。 获取阿里云访问密钥(AccessKey) 添加阿里云凭证时,需要填写源端资源所在的阿里云账号或RAM用户的AccessKey ID和AccessKey Secret。获取方法请参考创建AccessKey。
无法签署隐私声明和使用迁移中心 问题描述 进入迁移中心MgC,因无法签署隐私声明,导致无法使用迁移中心。 问题分析 出现该问题可能是因为您登录的账号受限或欠费。 解决方案 请参考什么情况下华为云业务会受限?对账号进行排查和处理。处理完成后,请返回迁移中心重试。 父主题: 产品咨询
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务并执行校验
0/17 云服OMS云服务和Master节点通信,实现集群安装。 入方向 1 允许 IPv4 TCP : 9002 198.19.128.0/17 云服OMS云服务和Master节点通信,实现任务下发、管理 入方向 1 允许 IPv6 全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信
为什么不能手动选择主机规格和磁盘类型? 主机未评估时,无法手动选择规格和磁盘类型,进行一次评估后,即可手动选择想要的主机规格和磁盘类型。 父主题: 规格评估
0/17 云服OMS云服务和Master节点通信,实现集群安装。 入方向 1 允许 IPv4 TCP : 9002 198.19.128.0/17 云服OMS云服务和Master节点通信,实现任务下发、管理 入方向 1 允许 IPv6 全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark
在实例列表,单击操作列的“查看监控指标”,可以查看资源实例的网络流入、流出带宽变化情况。 源端和目的端指标 源端和目的端指标包含的关键指标和说明参见下表。 厂商 指标 作用 说明 源端 请求QPS和流出流量 观察源端的请求处理速度(QPS)和流出流量,及时发现并应对潜在的性能瓶颈。 通过对比官方资料中提供的
阿里云主机迁移至华为云 概述 准备工作 步骤一:下载并安装MgC Agent(原Edge) 步骤二:采集阿里云ECS主机资源 步骤三:评估迁移准备度 步骤四:目的端规格评估 步骤五:创建主机迁移工作流 父主题: 主机迁移相关最佳实践
批量评估和配置目的端主机规格。本节介绍为主机迁移配置迁移方案的方法。 准备工作 创建迁移项目。 通过资源采集,完成主机资源的发现与采集。MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。 源端主机位于云平台:源端为阿里云、华为云、AWS