检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“查看库表清单”或“数据表”,进入库表清单页签。
成后,单击“下一步”,进行目的端配置。 在列表中单击操作列的“修改”,根据,配置目的端文件存储信息。 表3 目的端文件存储参数配置说明 参数 说明 须知 源端路径 根据源端文件存储服务地址+路径的组合自动生成。 - 存储类型 目前只支持NAS_NFS_V3_MOUNT。 文件存储服务地址
当前项目下拉列表中选择迁移项目。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4
在功能入口区域,单击“任务管理”,进入任务管理页面。 单击页面右上角的“新增任务”,右侧弹出新增任务窗口。 根据实际需求,选择大数据组件类型和统计方式,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置所选的统计方式参数。 各组件之间配置参数略有区别,请以实际页面为准。 全量对数作业参数配置说明
ata/client/bigdata_env。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数
完成主机资源发现后,可以按照以下步骤对主机资源进行深度采集。 在主机列表,单击操作列的“配置凭证”,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP。 端口 主机开放端口。
步骤2.创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明
可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。
列表中选择步骤2.创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Doris”,单击“下一步”。 根据Doris连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Doris连接参数配置说明 参数 配置说明
创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“阿里云云数据库 ClickHouse”,单击“下一步”。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明
创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明
步骤2.创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“ClickHouse”,单击“下一步”。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明
创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“阿里云云数据库 ClickHouse”,单击“下一步”。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明
步骤2.创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“ClickHouse”,单击“下一步”。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
列表中选择步骤2.创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“HBase”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
失败原因*** 请根据具体报错进行排查,或联系技术支持人员或提交工单。 AZ-Workflow.0701 创建整机镜像失败, 失败原因:*** 请根据具体报错进行排查,或联系技术支持人员或提交工单。 AZ-Workflow.0801 创建目的端服务器失败, 失败原因:*** 请根据具体报错
归档类型的对象存储要实现迁移,必须预先解冻,待解冻完成后再创建迁移工作流,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移工作流。 请根据待迁移的数据总量评估并设置解冻有效期,以防迁移期间数据再次变成归档状态。 解冻操作可能会产生一定的费用,由源端云厂商收取,计费规则请咨询源端云厂商。
在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。 单击源端迁移准备度列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP 选择主机接入IP
在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。 单击源端迁移准备度列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP 选择主机接入IP