检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储迁移服务 (Object Storage Migration Service,OMS) 提供对象存储迁移能力,可以将其他云平台对象存储服务中的数据迁移至华为云对象存储服务OBS中。
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
如果仅需要评估部分主机,可以在列表中勾选需要评估的主机;也可以通过上方的搜索框,根据主机名称、IP地址、所属平台、关联的应用等条件过滤列表中的主机资源,然后勾选需要评估的主机。
在工作流步骤页签可以监控迁移进展。如果迁移步骤中包含手动操作,需要您进行手动确认后,才能进行后续步骤。 在主机页签,可以查看每台主机的迁移状态。 父主题: 主机迁移相关最佳实践
MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。 图1 采集方式 源端主机位于第三方云平台:源端为阿里云、华为云、AWS、腾讯云、Azure等云平台主机,推荐使用公网采集,也可以使用各场景通用的手动添加方式。
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。
查看主机资源详情 当RVTools导入任务状态为“成功”时,在资源列表页面,可以查看VMware采集的主机信息,包括:主机名称、实例ID、IP地址、主机规格、操作系统类型以及平台类型等。 在资源采集页面的资源列表,单击主机资源类型或资源数量,进入资源列表页面的主机页签。
目的主机IP 443 TCP vmware平台信息采集监听端口。
查看主机资源详情 当RVTools导入任务状态为“成功”时,在资源列表页面,可以查看VMware采集的主机信息,包括:主机名称、实例ID、IP地址、主机规格、操作系统类型以及平台类型等。 在资源采集页面的资源列表,单击主机资源类型或资源数量,进入资源列表页面的主机页签。
是 开启云平台采集,在资源类型下拉列表中勾选主机。 (可选)将采集的主机资源关联到应用。 已提前创建应用,在“应用”的下拉列表中选择要关联的应用。
根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。
创建表组并添加数据表 将源端数据表加入表组中,为后续对数作业做准备。 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。
配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。
配置同步完成后,您可以选择以下两种方式执行统计任务: 自动定时执行:按照设置的执行时间,自动、定时执行作业。 在任务列表,单击统计任务调度状态列的“激活”按钮,弹出激活提示窗。 单击“确认”按钮,激活自动化执行作业。 手动执行:手动立即触发一次作业的执行。
准备工作 配置PowerShell执行策略 检查执行策略,确保PowerShell允许运行脚本。打开PowerShell,输入以下命令检查当前执行策略: Get-ExecutionPolicy 以下是不同的返回结果说明: Restricted:不允许执行任何脚本。 AllSigned
SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Hudi(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。
在工作流进行到“全量迁移”和“增量同步”两个子步骤阶段,如果源端SMS-Agent进程与SMS控制台断开连接,MgC控制台会监控到该情况,同时迁移工作流会失败并出现“重试”和“全量重试”的按钮。
SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
在校验结果列表中,可以进行如下操作: 查看校验详情:单击分区达标详情列的“查看”按钮,展开该数据表的作业详情。单击操作列的“查看详情”,进入校验详情页面,查看该数据表的校验详细信息。 查看执行历史及状态:单击操作列的“查看历史”,可以查看该表的所有执行批次和达标状态。
SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。