检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载并安装Edge 安装Windows版本 安装Linux版本
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
进入详细配置页面。 根据对应的参数配置说明,配置所选的统计方式参数。 各组件之间配置参数略有区别,请以实际页面为准。 全量对数作业参数配置说明 日级增量对数参数配置说明 小时级增量对数参数配置说明 指定日期校验参数配置说明 指定时间校验参数配置说明 表1 全量校验参数配置说明 区域
组件选择“数据湖探索 DLI”,任务类型选择“元数据增量感知”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据增量感知任务参数。 表1 元数据增量感知参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据增量感知-4位
买。 支持区域: 全部 规格评估 迁移风险评估 购买资源 迁移方案配置 迁移中心为多种资源的不同迁移方案配置模板,可以面向迁移工作流进行一站式配置,并按应用显示配置进度。 支持区域: 全部 配置主机迁移方案 配置存储迁移方案 迁移工作流 迁移中心 MgC内置了由最佳实践总结而来的
迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控 > 基础监控”页签,查看CPU使用情况和网络流量的实时数据。 网络指标 网络包含的关键指标和说明参见下表。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明
连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-有
后仅对当前工作流生效,不会修改迁移方案中配置的集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖
Edge安装完成后,无法启动 Windows版本 Linux版本 父主题: 常见问题
连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-无
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。
安装Edge的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
单击源端迁移准备度列的“配置”,弹出配置窗口。 根据表2,配置参数。 表2 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP 选择主机接入IP,可以为公网IP,也可以是私有IP;迁移预检查通过后,该
出现该问题,可能的原因如下: 主机规格不足:安装Edge的主机规格小于推荐的最小规格4U8G。因资源不足导致采集器无法正常运行。 采集器离线:主机规格满足要求但采集器未运行。 解决方法 主机规格不足 请升级主机规格或选择满足规格要求的主机重新安装Edge并采集。 采集器离线 当前Edg
的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。 如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。 根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明
为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。 如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。 根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明
据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤 使用注册的用户名、密码登录Edge控制台。
在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接