检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LI队列默认使用的网段为172.16.0.0/18。 购买ECS 购买ECS:在与目的端DLI同一区域(Region)下购买一台Linux系统的ECS主机,购买方法请参考购买弹性云服务器。其中网络配置选择上一步创建的虚拟私有云和子网。该ECS主机还需要满足以下条件: 可以访问外网
勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 说明: 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 过滤配置 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心管理控制台。在左
迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数(可选)
选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数(可选)
DLI凭证 选择步骤4.在MgC Agent侧添加的DLI凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-
keytab两个文件是集群用户的凭证,获取方法如下。其余5个配置文件的获取方法请参考准备运行环境配置文件。 登录FusionInsight Manager界面,选择“系统 > 权限 > 用户”。 在用户名中选择developuser,单击操作“更多 > 下载认证凭据”下载认证凭据文件。 将下载的凭据文件解压即可得到用户的“user
在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式不是标准的YYYY-MM-DD时,系统目前不支持对这种场景进行数据校验。 前提条件 已创建表组并添加数据表。 已根据组件类型,创建对应的连接。 操作步骤 登录迁移中心管理控制台
在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式不是标准的YYYY-MM-DD时,系统目前不支持对这种场景进行数据校验。 前提条件 已创建表组并添加数据表。 已根据组件类型,创建对应的连接。 操作步骤 登录迁移中心管理控制台。
se。 数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 配置完成后,单击“测试连接”按钮,系统会校验配置信息并与源端建立连接,测试通过代表连接成功。 测试连接通过后,单击“确认”按钮,创建元数据连接完成。 单击“元数据连接”,进入元
se。 数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 配置完成后,单击“测试连接”按钮,系统会校验配置信息并与源端建立连接,测试通过代表连接成功。 测试连接通过后,单击“确认”按钮,创建元数据连接完成。 单击“元数据连接”,进入元
单击“新建文件夹”,在“文件夹名称”中输入自定义名称(例如:minioUrl),单击“确定”。 单击上一步创建的文件夹名称,进入该文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 通过以下任意方式,将待迁移对象的URL列表文件(在本文示例中为test2.txt)上传至文件夹。 拖拽URL列表
单击“新建文件夹”,在“文件夹名称”中输入自定义名称(例如:cephUrl),单击“确定”。 单击上一步创建的文件夹名称,进入该文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 通过以下任意方式,将待迁移对象的URL列表文件(在本文示例中为s3url.txt)上传至文件夹。 拖拽URL列表