检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NAS_GFS。 目的端支持的类型:NAS_NFS_V3_MOUNT。 约束与限制 存储迁移的约束与限制同样适用于文件存储批量迁移,详情请查看存储迁移的约束与限制有哪些? 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户。获取方法请参考准备工作。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
C网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
Windows主机进行深度采集后磁盘信息为空或磁盘信息错误 问题描述 在对Windows主机进行主机深度采集后,查看磁盘信息为空或磁盘信息显示乱码。 问题分析 出现该问题可能是因为该Windows主机的区域设置和显示语言不一致,从而导致采集磁盘信息失败。 解决方法 您可以按照以下步骤进行排查和解决:
主机深度采集成功,部分采集规格信息缺失 问题描述 进行主机深度采集后,在资源详情中查看采集的基本信息和规格信息,发现存在部分信息缺失的情况。 问题分析 出现该问题,可能是在安装Edge主机上的Linux采集脚本时,UNIX换行符格式不正确。正常情况下,Linux系统使用“LF”作
选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑
果长时间卡在某一步,可能是因为Edge上报结果给MgC的过程中丢失。 解决办法: 方法一:单击工作流名称,在工作流详情页面的主机页签,可以查看每个资源工作流状态。 方法二:请联系技术支持人员帮忙追踪任务是否正常收发。 父主题: 主机迁移工作流
象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 所有待迁移桶的迁移设置完成后,单击“下一步”,进行目的端配置。 单击操作列的“修改”,选择目的端凭证和目的端桶,输入目的端前缀(可选),单击“保存”。 所有资源的目的端配置完成后,单击“下一步”,进行集群评估。集群评估
略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中,可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”,可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域,单击主机资
集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在流量控制区域,单击“添加”,下方新增一条规则记录。 在“开始时间”、“结束时间”和“限速”文本框中输入数值。 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s
址,可以是单个IP地址或IP地址段。 例如: 单个IP地址:192.168.10.10/32 IP地址段:192.168.52.0/24 所有IP地址:0.0.0.0/0 大数据-Hive Metastore 用户名/密钥 凭证文件需要同时上传core-site.xml、hivemetastore-site
如表1所示,包括了MgC的所有系统策略。 表1 MgC系统权限 策略名称 描述 策略类别 策略内容 MgC FullAccess 迁移中心管理员权限,拥有操作MgC的所有权限。 系统策略 MgC FullAccess策略内容 MgC ReadOnlyAccess 迁移中心只读权限,仅能查看MgC资源,无法进行操作。
题。 使用该功能可能产生少量费用,具体费用由SMN服务结算。详情请查看SMN计费说明。 数据筛选 非分区表处理策略 选择对于非分区表的校验处理策略。 全部校验:全量处理所有非分区表,不做筛选。 全部忽略:忽略所有非分区表,不做校验。 按更新时间过滤:只处理更新时间在校验范围内的非
选择完成准备工作时,在Edge侧添加的华为云(AK/SK)凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域 选择目的端DLI所在区域。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写区域代号。例如:cn-south-1
Oracle:使用system权限账号。 SQL Server:使用sa账号。 采集原理:连接数据库,基于数据库的查询语句进行采集。 中间件采集 权限要求: Redis:使用具有基本访问权限的普通账号即可。 Kafka:需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理:利用Ja
的其它服务授权,IAM支持服务的所有策略请参见权限策略。 示例流程 图1 给用户授权MgC权限流程 创建用户组并授权 系统策略:在IAM控制台创建用户组,并根据MgC系统策略说明以及实际的权限要求,为用户组授权MgC系统策略,授权范围方案选择“所有资源”。 表1 MgC系统策略说明
根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。 如果采集的主机与安装Edge的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。