检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
参考创建表组并添加数据表,将源端数据表加入表组中。其中元数据连接选择步骤1.创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。 分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc
在MgC控制台为本次采集创建独立的项目(建议创建简单项目),方法请参考项目管理。 Azure认证信息准备 提前获取AKS所在应用客户端的密码、购买AKS的订阅ID,对应应用的租户ID、客户端(应用)ID。这些认证信息的获取方法请参见如何获取添加Azure凭证所需的信息? 添加源端凭证 在MgC控制台添
进行校验。 指定时间校验:用户可以选择一个时间段,校验该时间段内的数据。只能选择当前时间之前的时间段进行校验。 支持的源端、目的端组件 源端组件 目的端组件 Hive Hbase Doris MaxCompute ClickHouse Delta Lake Hudi Hive DLI
支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。 父主题: SFS1.0迁移至SFS 3.0
存储迁移 存储迁移的约束与限制有哪些? 迁移对源端和目的端有什么要求? 进行存储迁移时,如何选择集群规格? 影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/H
为云凭证。 在Edge凭证管理界面,单击“华为云凭证”前的按钮,在华为云账号框中,单击“配置”按钮。 在弹出的配置华为云凭证窗口,输入目的端华为云账号的AK/SK,单击“确认”,完成添加。 修改华为云凭证 如果您需要替换保存的华为云凭证,可以将其删除后,重新添加。 单击已保存凭证
在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。 选择应用后,单击“确定”。在各资源的已关联应用列,查看资源所关联应用。 父主题: 应用发现
内网出入流量,网络出入包速率,网络连接数等性能信息。 支持区域: 全部 采集主机性能 迁移方案设计 迁移中心提供一系列评估功能,包括目的端规格评估与推荐、多种迁移工具的选项及对比,并支持一站式资源购买。 支持区域: 全部 规格评估 迁移风险评估 购买资源 迁移方案配置 迁移中心
数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署Edge实施采集,采集凭证加密存储在本地Edge。
可能产生接口调用相关费用。 “表格上传”方式,通过填写TCO任务模板的方式上传源端信息进行评估分析。 须知: 模板中的主机数量不能超过9999台。 目的端区域 选择目的端所在区域。 配置完成后,单击“确认”按钮,提交上云成本分析任务。 提交成功后可以在上云成本分析(凭证)任务列表中看到提交的任务,单击
应用。 未提前创建应用,单击“新建应用”,弹出新建应用窗口,输入自定义的应用名称和描述;根据实际需求,选择业务场景和使用场景;区域选择目的端区域,单击“确定”按钮,应用创建成功。 否 单击“确认”,采集阿里云ECS主机任务创建完成,系统自动开始资源采集。 在应用发现页面,单击任务
元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息(可选) 用户自定义。 是否分区表(可选) 根据实际需求,选择该表是否为分区表。 业务负责人(可选) 可以指定数据表所属业务的责任人。
集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。
单价和使用时长进行规范化转换,才能形成合理的比较。 折算价格 源端的折算价格为:账单所示支付价格(折扣后) / 账单区间月数。 华为云目的端的折算价格为: 按需:华为云官网按需价格(折扣前) x 月均用量 x 720。 包周期:华为云官网包月价格(折扣前)x 月均用量。 例如:源
ims:images:list(查询镜像列表) evs:types:get(查询云硬盘类型) 主机绑定目的端 场景 委托对象 自定义策略名称 细粒度最小使用权限 主机绑定目的端 MgC MgC ServerBindTargetAgencyPolicy ecs:cloudServer
集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点。 节点数量为1,无法修改。
Edge所包含的特性开关参见下表。 参数 说明 参数值 参数路径 config.httpclient.verifier 验证主机名特性开关,用于开启或关闭服务端证书与连接域名校验功能。 NoopHostnameVerifier:不进行校验 MustHostnameVerifier:需要校验 <安装路
已提前创建应用,在下拉列表中选择要关联的应用,单击“确定”。 未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述,选择业务场景、使用场景和目的端区域,单击“创建”按钮,应用创建成功。选择创建的应用后,单击“确定”。 在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。
应用。 未提前创建应用,单击“新建应用”,弹出新建应用窗口,输入自定义的应用名称和描述;根据实际需求,选择业务场景和使用场景;区域选择目的端所在区域,单击“确定”按钮,应用创建成功。 单击“确认”,公网发现任务创建完成,系统自动开始资源发现。 您可以在应用发现页面,查看发现的源端资源列表和资源详情。