检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。
在安装旧版本Edge的Windows主机,登录迁移中心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Windows版区域,单击“下载安装包”,将最新版本的Edge安装程序下载到Windows主机。 双击最新版本的Edge安装程序,开始安装,覆盖旧版本的Edge。安装完成后,前往MgC控制台,
在表管理页面,选择库表清单页签。 单击列表上方的“表管理 > 导入数据表”按钮,弹出导入数据表窗口。 选择元数据连接和要加入的表组名。 单击“模板下载”,将导入模板下载到本地。打开导入模板,将需要导入的数据表对应参数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。
6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127
据采集页面的库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 根据实际需求,选择已创建的元数据连接类型。 单击“模板下载”,将导入模板下载到本地。打开导入模板,将需要添加的数据表对应参数填写到模板内。 每个模板最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。
登录FusionInsight Manager界面,选择“系统 > 权限 > 用户”。 在用户名中选择developuser,单击操作“更多 > 下载认证凭据”下载认证凭据文件。 将下载的凭据文件解压即可得到用户的“user.keytab”文件与“krb5.conf”文件。 在MgC控制台左侧导航栏选择“调研
RvTools导入:将RvTools生成的报告导入到Edge中,从而发现主机资源。 网段扫描:通过扫描指定网段,发现内网中的主机资源。 前提条件 已下载并安装Edge,并完成用户注册。 VMware采集 目前支持采集的VMware版本包括:VMware 5.0~7.0 使用注册的用户名、密码登录Edge控制台。
通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择在Edge添加的目的端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写目的端Doris集群部署的服务器IP地址。
移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对象迁移到目的端后实际修改时间晚于mtime,在这种情况下,系统会报告元数据对比失败,但实际上数据迁移是成功的,您可以前往目的端确认对象是否已成功迁移。 场景二: 当源端和目标端的
类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。 迁移对象 对象名称不能包含特殊字符。 单个对象大小不能超过:500 MB
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。
据可以为目的端磁盘调整提供参考。 通过绑定目的端进行磁盘缩容 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。 单击目的端规格配置框中的“目的端配置表”,进入目的端配置表页面。 在资源配置明细的主机页签,单击主机资源绑定目的端列的“去绑定”,弹出绑定目的端窗口。 选
配置完成后,单击“下一步:确认调整”。确认调整无误后,单击“确定”,完成目的端磁盘分区调整。 单击右下角的“下一步:目的端配置”,进入目的端配置页签。 在已有服务器中,选择在MgC绑定或者新创建的同名目的端(目的端主机名称可以在迁移工作流中单击“创建目的端主机”步骤查看),单击“下一步:确认配置”,进入确认配置页签。
件路径。对象列表文件的约束与限制如下: 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。 对象列表文件行长度不超过16KB,否则迁移失败。
在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标
慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移