检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 迁移准备
cn-hongkong.maxcompute.aliyun-inc.com” spark.hadoop.odps.tunnel.quota.name - 填写访问MaxCompute使用的Quota名称。 否 sc_type A、B、C 计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。
使用迁移中心进行迁移前,需要做哪些准备工作? 注册华为账号开通华为云,并实名认证。 如果使用IAM用户登录MgC进行操作,需要为IAM用户配置迁移中心权限。 获取账号/IAM用户的AK/SK。 父主题: 产品咨询
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MgC。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 支持区域: 全部 权限管理 创建用户并授权使用MgC
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
Linux系统 以下步骤以centos8为例。 启动脚本位置 在MgC Agent安装目录下(默认为/opt/cloud/Edge) ./scripts/start.sh,启动脚本。 配置JVM参数 MgC Agent安装目录下(默认为/opt/cloud/Edge),编辑. /tools/SecAs-1
选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图7 创建连接 连接类型选择“CloudTable(ClickHouse)”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4
关联应用 概述 通过应用将资源进行分组管理,便于后续进行规格评估和创建迁移工作流。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在资源列表选择资源类型,进入对应的资源列表页面。
关联应用 概述 通过应用将资源进行分组管理,便于后续进行规格评估和创建迁移工作流。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在资源列表选择资源类型,进入对应的资源列表页面。 勾选需要
模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)或Hudi(无元数据)连接时,模板中的source_path和target_path参数为必填项。
的对象,会如何处理? 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 如何解决迁移集群创建失败问题 如何获取微软云的访问凭证 存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 存储类型介绍 迁移任务执行失败如何处理?
模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)或Hudi(无元数据)连接时,模板中的source_path和target_path参数为必填项。
规格评估、创建迁移工作流作准备。 前提条件 已通过资源采集中的在线调研/内网发现/手工导入/手动添加等方式完成主机资源的发现。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。 在应用列表,单击应用名称,进入应用详情页面。
为后续规格评估、创建迁移工作流作准备。 前提条件 已通过资源采集页面中公网发现/内网发现/手动添加等方式完成主机资源的发现。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在应用列表,单击应用名称,进入应用详情页面。
cn-hongkong.maxcompute.aliyun-inc.com” spark.hadoop.odps.tunnel.quota.name - 填写访问MaxCompute使用的Quota名称。 否 mgc.mc2dli.data.migration.mc.external.table false
创建应用 您可以通过创建应用,将采集到的资源添加到应用中,对资源进行功能分组,便于后续进行规格评估和创建迁移工作流。 新建应用 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。 单击应用列表中的“新建应用”按钮,右侧弹出新建应用窗口。
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
公网采集失败,提示:“网络连接超时”或“其他异常” 问题描述 在使用公网发现功能进行源端资源采集时,遇到采集失败,错误提示:“网络连接超时”或“其他异常”。 问题分析 网络连接超时:出现该提示是因为源端资源所在的地域(Region)不在MgC服务支持的资源采集范围内。 其他异常: