检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将您源端配置管理数据库中的应用关联信息,填入导入模板表格中,再将表格导入迁移中心,分析出应用间的依赖及关联关系。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>应用关联模
类型为“手动”,表示该步需要用户手动操作。单击“开始配置”按钮,进行工作流配置。 根据表1参数说明,配置工作流参数。 表1 可用区工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择待迁移资源所关联的应用。 迁移设置 区域
DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true:查询DLI表的分区,空分区效验状态为成功,分区不存在状态为失败。
安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。 ps -ef |grep edge 当出现如下图所示提示时,表示Edge进程已经启动。 父主题: Edge安装完成后,无法启动
在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称
ve可能无法以标准数值格式表示这些极端数值,而是将它们显示为 “Infinity”(表示无限大)或 “-Infinity”(表示无限小)。这些值并不是有效的数字,因此在进行数值转换或计算时,可能会引发异常。 在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式:
PC网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。
凭证。内网发现、手动添加所需的凭证添加方式请参考在Edge添加凭证。 认证方式 当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。 表1 公有云认证方式 资源类型 认证方式 说明 公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。 不同存储系统对路径和文件夹长度的限制参见下表: 存储系统 路径和文件夹长度限制 OBS 文件夹和文件路径的最大长度限制均为1023个字节。 NAS 文件夹的最大长度限制为255个字节。
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。
出现该问题,是因为选择的目的端规格仅支持Linux镜像。 解决方法 重新选择支持Windows镜像的目的端规格。选择目的端规格后,可以在镜像下拉列表中,查看是否有符合的镜像类型。 父主题: 规格评估
MgC支持的区域 MgC部署在“华南-广州”区域。 MgC为Region级服务,但提供了全局服务的能力。即在一个Region开通服务后,支持所有Region的迁移。 父主题: 产品咨询
元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项
行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。 父主题: 采集元数据
输入Linux本机网卡的IP地址作为后续访问Edge页面的地址。如果输入的地址不在本机拥有的IP列表中,会提示是否开放本机所拥有的任何公网IP作为访问地址。 当出现如下图所示提示时,表示Linux版的Edge已安装完成。其中提示的端口号请以实际情况为准(通常为27080)。 执行如下命令,更新环境变量。
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明