检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。
config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。
说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。
对象存储终端节点 填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。 桶名称 在下拉列表中,选择需要作为日志桶的桶名。 自定义文件夹(可选) 指定日志文件和内容校验结果在日志桶内的存放文件夹,填写以“/”开头的文件夹路径。
AZ-Workflow.0502 源端服务器***绑定存储库***失败 请联系技术支持人员或提交工单。 AZ-Workflow.0503 存储库***是不可用状态*** 请删除存储库后重试迁移任务。
单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。
配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。
最佳实践 主机一站式跨可用区迁移 线下主机迁移上云 迁移其他云平台存储数据至华为云 04 实践 提供多场景的迁移案例,方便您快速了解使用MgC完成批量迁移。
在资源配置明细区域,可以查看应用内主机资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用;单击主机资源操作列的“更多>更改目的端规格”,可以修改目的端主机规格、磁盘存储类型和资源总用量。
单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“查看库表清单”或“数据表”,进入库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 单击“xlsx模板下载”,将导入模板下载到本地。打开模板填写对应信息后保存。
表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置,即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建,并且除桶名以外,其余目录需要与源端OSS目录保存一致。
是 密钥文件认证 HTTPS 9977 存储 目的主机IP 用户输入 TCP 对象存储服务监听端口。源端端口为继承巫山框架才启动的端口,业务未使用。 是 口令认证 SSL 命令矩阵 命令矩阵列出了迁移工具Edge包含的命令,以及命令所在绝对路径、功能、用法等信息。
单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在MgC控制台,创建Hive统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤步骤16.创建的表组;执行机连接选择步骤20.创建的MRS执行机连接。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表2,配置数据湖元数据同步任务参数后,单击“确认”按钮,创建数据湖元数据同步任务。
在资源配置明细区域,可以查看应用内主机资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用;单击主机资源操作列的“更多>更改目的端规格”,可以修改目的端主机规格、磁盘存储类型和资源总用量。
上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。使用上传日志功能前,需要您先在迁移工具Edge上配置日志桶,配置方法请参见配置日志桶。