检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作:确保具备必要的账号以及账号满足权限要求。 安装Edge:下载并安装MgC服务所需的云边协同组件Edge。 资源采集:采集源端阿里云ECS主机的信息。 迁移准备:对源端阿里云ECS主机进行配置检查、网络测试和迁移分组。 规格评估:评估并配置华为云目的端主机的规格。 工作流创建:创建并配置迁移工作流并启动迁移。
云边协同 连接迁移中心 添加/修改华为云凭证 添加资源凭证 配置OBS桶 设备管理 事件记录
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。 功能 权限Action 配置主机购买模板 vpc:vpcs:list(查询虚拟私有云列表) vpc:subnets:get(查询子网列表或详情)
步骤一:下载并安装Edge 迁移工具Edge是一款专为配合MgC设计的软件,用于源端资源发现与信息采集,同时还提供了工作流模块,用于支持云端迁移工作流任务的执行。 操作步骤 建议在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge,对该主机的要求以及Edge的安装方法请参见安装Windows版本的Edge。
已在MgC控制台创建迁移项目。 安装步骤 使用在源端内网环境准备好的Linux主机,登录迁移中心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Linux区域,单击“下载安装包”或“复制下载命令”,将Edge安装程序下载到Linux主机。 执行如下命令,解压Edge安装包。 tar
使用迁移中心进行迁移前,需要做哪些准备工作? 注册华为账号开通华为云,并实名认证。 如果使用IAM用户登录MgC进行操作,需要为IAM用户配置迁移中心权限。 获取账号/IAM用户的AK/SK。 父主题: 产品咨询
源地址:选择IP地址,并填写弹性资源池的网段。 单击“确定”完成安全组配置。 在DLI管理控制台的左侧导航栏单击“跨源管理”,进入跨源管理页面。 选择“增强型跨源”,单击“创建”,弹出创建连接窗口。 根据表1,配置增强型跨源连接信息。 表1 参数配置说明 参数 配置说明 连接名称 用户自定义 弹性资源池 选择购买的弹性资源池。
准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装Edge主机的/etc/hosts文件中,配置连接才能连接成功。 在安装Edge工具的主机上,打开/etc/hosts文件进行编辑。
同的VPC来实现网络打通。 参考配置VPC终端节点,购买VPC终端节点。其中“虚拟私有云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入
连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-无
成源端云厂商消费账单分析以及和华为云的成本分析和比较,从而为您云间迁移提供参考。 应用关联分析 通过采集注册中心、配置中心、CMDB等平台,获取微服务间调用关系。配置更多采集项,可以更准确的分析出应用与应用间、应用与数据间调用的拓扑关系,提高迁移分组实施效率。 提供架构图和依赖图
Azure 门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“访问密钥” 。 此时会显示账户访问密钥,以及每个密钥的完整连接字符串。 选择“显示”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。 可以使用这key1和key2两个密钥中的任何一个来访问
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
失败有关详细信息,请参阅 about_Remote_Troubleshooting 帮助主题”。 问题分析 出现该报错是因为:远程服务器的WinRM服务未启动或者配置不正确。 解决方法 验证执行机能否 ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985
以兼容性模式运行程序 鼠标右键打开Edge安装程序的属性窗口。 选择“兼容性”页签,在兼容模式框中,勾选“以兼容模式运行这个程序”。 单击“确定”,重新启动Edge安装程序。 父主题: 常见问题
的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
主机评估策略推荐逻辑说明 本节介绍对主机进行规格评估时,关于推荐策略和偏好设置配置项推荐逻辑的详细说明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格
连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-有