检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包
重置密码或联系源端主机管理员。 如果您确定用户名正确,但忘记了密码,可以选择重置源端主机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。
操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。 MgC服务侧权限要求:云账号需要具备对应权限才能使用MgC和访问MgC调研数据,MgC相关权限请参考权限管理。 数据采集项透明性:数据采集的具体项目参见采集项列表。
ecs:availabilityZones:list(查询可用区列表) 主机迁移工作流 vpc:vpcs:list(查询虚拟私有云列表) vpc:vpcs:get(查询虚拟私有云详情) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP)
6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
式。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项
Gbit/s。 CC/DC专线迁移 网络流出、流入带宽 观察专线的流入、流出带宽变化情况 - 查看公网迁移的出、入方向带宽指标的方法如下: 在华为云管理控制台,单击“服务列表 > 网络 > NAT网关”,进入公网NAT网关页面。 在公网NAT网关页面,单击用于迁移的公网NAT网关名称,进入详情页面。
卡MAC地址等信息发生改变,导致OS、应用等License失效。此类问题,迁移服务概不负责。对于Windows License可以使用华为云License服务器获取新License,应用License用户自行解决。 源端磁盘数据安全性声明 迁移过程中,迁移服务无法感知磁盘内容,需
迁移节点数+列举节点数+1 ≤子网可用IP数 列举节点ECS规格 列举节点用于执行列举动作,推荐规格8U16G。 网络配置 虚拟私有云 在下拉列表中选择虚拟私有云。 - 子网 选择与虚拟私有云网段相同且满足可用IP数的子网。 子网的可用IP数≥迁移节点数+列举节点数+1。 模式选择 公网:使用公网迁移
本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地。在将本地采集的数据上传到云端之前,可人工审阅并确认无安全风险后,再导入云上进行后续分析。 父主题: 产品咨询
配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 阿里云凭证 选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxCompu
户后下载访问密钥),该用户无法通过华为云console密码登录,仅支持编程访问。 后续提供创建mgc-user用户时下载的AK/SK给Edge,该AK/SK负责Edge注册到MgC以及迁移过程中的接口调用鉴权。 步骤一:创建用户组 登录华为云IAM管理控制台。 在统一身份认证服务
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edg
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
权限管理 如果您需要对华为云上的迁移中心 MgC,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制资源的访问。
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MgC资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
MgC当前不支持完全无公网的迁移场景。 在与源端互通的内网环境中安装迁移工具Edge。安装方法和要求请参考安装Windows版本的Edge。 参考MgC的线下主机迁移上云最佳实践,完成步骤二至步骤五的操作。 需要确保目的端安全组对源端服务器开放指定迁移端口。安全组的配置方法请参考如何配置目的端服务器安全组规则?