检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
跨云成本分析支持哪些云厂商? 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计费项,只比较容量以及使用时长相关计费项。
适的规格,系统将按照性能顺序,向下一个性能等级的虚拟机规格类型进行搜索。如果性能略低的规格类型中仍然没有找到合适的规格,系统将继续搜索更低性能的计算增强型虚拟机,直到按照性能顺序检索完全部计算增强型虚拟机。如果在所有计算增强型虚拟机规格中均未找到符合要求的规格,则会报错提示。 匹配业务场景
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
指定日志文件和内容校验结果在日志桶内的存放文件夹,填写以“/”开头的文件夹路径。例如:桶名为“mgc01”,填写的文件夹为“/test”,则日志文件存放路径为:obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/big
重置密码或联系源端主机管理员。 如果您确定用户名正确,但忘记了密码,可以选择重置源端主机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。
入方向规则设置完成后,单击“确定”。 步骤五:搭建大数据数据迁移环境 参考大数据数据迁移的准备工作,完成迁移环境搭建。其中,购买ECS选择在阿里云购买一台ECS实例,要求该ECS实例的私有IP地址能够通过SNAT访问外部网络。MgC Agent安装完成后,使用SNAT的公网IP访问MgC Agent,注册用户并连接迁移中心。
des.csv。 如果使用自定义的配置文件,请参考默认配置文件(nodes.csv)创建新的csv文件。该参数填写新建的csv文件存放路径。 须知: 建议使用采集器提供的默认节点接入配置文件进行采集,如果需要自定义配置文件,请参考默认配置文件(nodes.csv)进行创建。 父主题:
选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份,源端各自独立备份完成后,立即开始生成镜像和目的端主机。 目的端是否关机 选择“是”,生成目的端后,目的端保持关机状态。
选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份,源端各自独立备份完成后,立即开始生成镜像和目的端主机。 目的端是否关机 选择“是”,生成目的端后,目的端保持关机状态。
选项,并配置安全认证命令。配置前,需要您手动将包含认证密钥的.keytab文件上传至执行机。 keytab文件地址:输入.keytab文件在执行机的存放地址。 keytab文件用户名:输入.keytab文件对应的用户名。 执行命令 可以通过设置Beeline或Spark-sql命令行参数,对数据进行处理。
列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
选择元数据管理,在大数据血缘分析页签,单击“创建血缘采集任务”,弹出创建血缘采集任务窗口。 图1 创建血缘采集任务 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
刷新采集项列表查看是否存在运行中的采集项,运行中的采集项时不允许删除采集任务。 导入文件的大小超出限制。 请导入10MB以内的文件。 文件名无效。 请按规则输入文件名。 文件格式无效。 请导入正确的文件格式。 新增数据源失败,导入文件不存在。 请检查导入文件是否成功,或尝试再次导入。 采集阿里云RM资源信息失败。
作及相关步骤。 操作步骤 换包操作。 在安装MgC Agent的主机,执行如下命令,进入MgC Agent指定目录。 cd /opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/hadoop3 执行如下命令,删除目录下的旧包。
ka\output\file\app-discovery-kafka-xxx.csv。 cert_file 否 auth参数值为“3”时,填写SSL cert_file文件绝对路径。 ca_file 否 auth参数值为“3”时,填写SSL ca_file文件绝对路径。 password
Windows版本 问题描述 Windows版本的MgC Agent安装完成后,无法启动进入注册页面。 问题分析 出现该问题通常是因为安装MgC Agent的主机后台进程过多或可用CPU太小,导致MgC Agent在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动MgC
迁移工作流 工作流配额限制说明 创建主机迁移工作流 创建可用区迁移工作流 创建存储迁移工作流 创建对象存储批量迁移工作流 创建文件存储批量迁移工作流 添加阶段/步骤 父主题: 新版
迁移工作流 工作流配额限制说明 创建主机迁移工作流 创建可用区迁移工作流 创建存储迁移工作流 创建对象存储批量迁移工作流 创建文件存储批量迁移工作流 添加阶段/步骤 父主题: 旧版