检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击
默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。
≤子网可用IP数 列举节点ECS规格 列举节点用于执行列举动作,推荐规格为C系列规格,大小是8U16G。 网络配置 虚拟私有云 在下拉列表中选择虚拟私有云。 - 子网 选择与虚拟私有云网段相同且满足可用IP数的子网。 子网的可用IP数≥迁移节点数+列举节点数+1。 模式选择 选择内网模式。 同
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击
操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。 MgC服务侧权限要求:云账号需要具备对应权限才能使用MgC和访问MgC调研数据,MgC相关权限请参考权限管理。 数据采集项透明性:数据采集的具体项目参见采集项列表。
重置密码或联系源端主机管理员。 如果您确定用户名正确,但忘记了密码,可以选择重置源端主机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。
ecs:availabilityZones:list(查询可用区列表) 主机迁移工作流 vpc:vpcs:list(查询虚拟私有云列表) vpc:vpcs:get(查询虚拟私有云详情) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP)
6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
Gbit/s。 CC/DC专线迁移 网络流出、流入带宽 观察专线的流入、流出带宽变化情况 - 查看公网迁移的出、入方向带宽指标的方法如下: 在华为云管理控制台,单击“服务列表 > 网络 > NAT网关”,进入公网NAT网关页面。 在公网NAT网关页面,单击用于迁移的公网NAT网关名称,进入详情页面。
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击
式。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项
卡MAC地址等信息发生改变,导致OS、应用等License失效。此类问题,迁移服务概不负责。对于Windows License可以使用华为云License服务器获取新License,应用License用户自行解决。 源端磁盘数据安全性声明 迁移过程中,迁移服务无法感知磁盘内容,需
本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地。在将本地采集的数据上传到云端之前,可人工审阅并确认无安全风险后,再导入云上进行后续分析。 父主题: 产品咨询
权限管理 如果您需要对华为云上的迁移中心 MgC,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制资源的访问。
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。