检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取数据变化(增量)分区,再进行校验。在24小时内自动进行多次校验,可以持续关注数据一致性变化情况。第二日0点自动停止任务。 指定日期校验:仅适用于分区为年月日格式的分区表,支持周期性指定一个或多个连续日期分区进行校验。分区格式不为年月日的表不会进行校验。 指定时间校验:用户可以
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
迁移准备度检查失败,失败原因:主机端口不可达、防火墙规则不正确或访问权限不足 问题描述 对主机进行迁移准备度检查时,检查失败,提示:主机端口不可达、防火墙规则不正确或访问权限不足。 问题分析 出现该问题的原因为接入端口不正确。 解决方法 检查迁移准备度配置参数中的“端口”填写是否
执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据)
在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。 单击列表上方的“导出”按钮,系统开始导出任务执行结果。通过列表上方的搜索框可以对任务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作
在集群列表中,选择需要使用的集群,单击“确认”。如果需要对集群进行修改,请参考集群管理。 集群配置完成后,单击“确定”,迁移方案创建完成。在迁移方案配置页面的方案列表,可以查看已创建的迁移方案。 如果需要对迁移方案配置进行调整,可以单击操作列的“设计”进行修改。 当设计进度为已完成时,单击操作列的“
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
Linux主机,可以直接使用vim创建和编辑脚本文件,步骤如下: 在Vim编辑器中按 i 进入插入模式。 复制并粘贴脚本代码,完成后按 Esc。 输入 :wq 保存并退出。 #!/bin/bash # Configuration # Log directory path:
增迁移节点为例进行介绍。 登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要
Linux主机,可以直接使用vim创建和编辑脚本文件,步骤如下: 在Vim编辑器中按 i 进入插入模式。 复制并粘贴脚本代码,完成后按 Esc。 输入 :wq 保存并退出。 #!/bin/bash # Configuration # Log directory path: Used
前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b
免因超出配额而导致创建失败。 日创建上限:在同一项目下,每天允许创建的迁移工作流数量上限为50个。 运行中工作流资源总量限制:同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤。
创建时间:筛选出在特定时间窗口内创建的数据。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b
模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 单击“确认”,创建血缘采集任务完成。系统自动开始进行血缘采集。 单击“查看任务”,进入血缘采集页面,可以在任务列表中查看采集任务状态。 当任务状态为“已完成”时,单击页面右上角的“查看血缘”,可以查看血缘关系图。
用这个脚本,快速地将域名解析IP批量推送到所有源端主机的hosts文件中。 脚本说明 脚本是基于Shell语言开发,仅支持在Linux系统上运行,实现对源端待迁移Linux主机的/etc/hosts文件的批量更新和批量恢复。 脚本执行限制:每次执行脚本时最多支持同时修改100台主
"ecs:serverInterfaces:use", "ecs:serverGroups:manage", "ecs:securityGroups:use", "ecs:servers:unlock", "ecs:servers:rebuild", "ecs:servers:lock"
读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同
TCO对比支持哪些云厂商? 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计费项,只比较容量以及使用时长相关计费项。
资源类型 云服务 Action 最小权限策略 主机 EC2 ec2:DescribeInstances AmazonEC2ReadOnlyAccess ec2:DescribeAddresses ec2:DescribeImages ec2:DescribeVolumes cloudw