检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云主机跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云可用区的主机搬迁到其他可用区,适用于大批量主机跨可用区迁移。30台以下的小规模、单批次迁移请使用主机一站式跨可用区迁移。 准备工作 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。
查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。 您可以选择是否
确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2.0)可能会导致数值溢出,使得结果保持不变。这是double类型在处理极大数值时溢出的常见现象。 父主题: 大数据校验
使用该功能可能产生少量费用,具体费用由SMN服务结算。详情请查看SMN计费说明。 数据筛选 非分区表处理策略 选择对于非分区表的校验处理策略。 全部校验:全量处理所有非分区表,不做筛选。 全部忽略:忽略所有非分区表,不做校验。 按更新时间过滤:只处理更新时间在校验范围内的非分区表。注意:非分区表非insert写入业
弹出资源详情窗口,在迁移风险页签,可以查看评估包含的所有项目以及各项目的参数说明和风险程度。 对于存在风险的项目,可以根据优化建议进行处理,处理完成后,在评估列表中,单击操作列的“评估”,可再次对该主机进行风险评估。 父主题: 迁移方案设计
弹出资源详情窗口,在迁移风险页签,可以查看评估包含的所有项目以及各项目的参数说明和风险程度。 对于存在风险的项目,可以根据优化建议进行处理,处理完成后,在评估列表中,单击操作列的“评估”,可再次对该主机进行风险评估。 父主题: 迁移方案设计
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS 3.1.0版本普通集群使用YARN模式的换包操作指南
Azure认证信息准备 提前获取AKS所在应用客户端的密码、购买AKS的订阅ID,对应应用的租户ID、客户端(应用)ID。这些认证信息的获取方法请参见如何获取添加Azure凭证所需的信息? 添加源端凭证 在MgC控制台添加Azure认证信息作为采集凭证,方法请参考添加凭证。 权限要求 需要确
输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考如何获取企业项目ID。 内表转换 选择内表进行迁移时,迁移后的数据会存储在DLI中。 选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。 目的端配置 覆盖策略 对已有表的处理策略 跳过:如果目的端已经存在同名的数据表,将忽略该表,不会对其进行任何操作。
如果任务状态为“失败”,单击任务名称,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。常见失败原因的处理方法请参考导入RVTools资源任务失败。处理完失败原因后,重新导入文件进行采集。 查看主机资源详情 当RVTools导入任务状态为“成功”时,在资源采集页面的主
如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。常见失败原因的处理方法请参考导入RVTools资源任务失败。 处理完失败原因后,需要删除该采集任务,重新导入文件进行采集。 当任务状态为“成功”时,您可以查看导入的资源详情和资源统计信息。
Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据,请添加如下参数: 参数名:mgc.delta.spark.version 参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars
WSMan:\localhost\Shell\MaxMemoryPerShellMB 1024 如果原本的配置参数值不小于1024 MB,请继续执行步骤2。 处理老旧系统版本的内存限制问题。 如果源端主机系统版本较旧(如Windows Server 2008或Windows Server 2012)
创建存储迁移工作流 本节介绍如何使用存储迁移标准模板创建存储迁移工作流。 前提条件 已完成准备工作。 已创建集群。 (可选)已打通SFS 1.0、3.0和集群之间的网络 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。 在左侧
归档存储(冷存储)数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案,例如,平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时,一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻
务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。
当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据重复的情况下,执行关联子查询,会提示异常,必须对子查询的结果做去重处理,比如max(),min()。 该参数设置为false: 不管子查询中数据重复与否,执行关联子查询时,都需要对子查询的结果去重,比如max()
在完成Windows主机迁移后,执行此脚本以恢复源端主机的hosts配置到迁移前的状态。 PowerShell 版本和依赖项要求 PowerShell 远程处理依赖于 Windows 远程管理 (WinRM),由 Windows Management Framework (WMF) 提供。 在 PowerShell
数据线上存储 数据分析和呈现 采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权
在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式: 当数值为 Infinity 或 -Infinity 时,会被默认处理并显示为 -1。 当数值为 NaN(Not a Number,非数字)时,会被默认处理并显示为 0。 父主题: 大数据校验