检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
重置密码或联系源端主机管理员。 如果您确定用户名正确,但忘记了密码,可以选择重置源端主机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。
后,置为“离线”状态。 未激活 已在Edge完成注册但设备还未接入平台。 异常 无此状态,如出现该状态,请联系华为云技术支持。 冻结 无此状态,如出现该状态,请联系华为云技术支持。 删除设备 单击设备操作列的“删除”按钮,确认删除当前设备,单击“确认”,即可删除。 如果该设备正在进行资源采集,则设备无法删除。
端厂商进行调整。 目的端 请求QPS和流入流量 观察目的端请求处理速度(QPS)和流入流量,及时发现并应对潜在的性能瓶颈。 通过对比官方资料中提供的阈值,如果QPS或流出流量接近或超过80%-90%的阈值,则需要及时联系目的端厂商进行调整。 对于源端桶和目的端桶,可以在对应的存储
ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证(可选) 选择步骤4.在Edge添加的目的端MRS ClickHouse凭证。 安全集群 选择是否部署在安全集群下。
ReadOnlyAccess 存储 OBS obs:ListBuckets obs:GetBucketPolicy obs:GetBucketAcl obs:GetBucketLifecycle obs:GetBucketMetadata obs:GetBucketVersioning obs:GetBucketStorageInfo
出现该问题可能是因为该Windows主机的区域设置和显示语言不一致,从而导致采集磁盘信息失败。 解决方法 您可以按照以下步骤进行排查和解决: 登录该Windows主机,单击“开始”按钮,然后选择“设置”图标(齿轮形状)。 在设置窗口中,单击“时间和语言”。 在左侧列表击“语言”,进入语言设置页面。 在相关设置中,单击
的区域设置和显示语言不一致,从而导致采集系统镜像信息失败。 解决方法 您可以按照以下步骤进行排查和解决: 登录该Windows主机,单击“开始”按钮,然后选择“设置”图标(齿轮形状)。 在设置窗口中,单击“时间和语言”。 在左侧列表击“语言”,进入语言设置页面。 在相关设置中,单
场景。 目标:通过多次同步方案迁移增量对象数据,减少源端和目的端数据差异,确保数据迁移的准确性和业务连续性。 源端支持的类型:NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_SMB、NAS_NFS_V3_MOUNT。
任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 是 凭证 选择源端对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 阿里云、华为云、AWS、腾讯云、七牛云、金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在Edge侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
需求,选择迁移类型,单击“确认”。创建项目成功,可在项目管理列表查看。 简单应用迁移:适用于应用数量少、应用与资源间依赖关系简单明确以及华为云跨可用区迁移等场景。 复杂应用迁移:适用于应用数量多、应用与资源间依赖关系复杂等场景。
ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证(可选) 选择步骤4.在Edge添加的目的端MRS ClickHouse凭证。 安全集群 选择是否部署在安全集群下。
ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudTable-ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 CloudTable (ClickHouse)凭证 选择步骤4.在Edge添加的目的端CloudTable ClickHouse凭证。
具与云端MgC控制台建立连接。 连接成功后,需要在Edge上分别添加源端“大数据-MaxCompute”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证,认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在Edge侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤步骤16
迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置,即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建,
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。