检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
- 路径 输入目的端接收文件的路径,格式为:/文件夹。 当输入的是/时,表示迁移到目的端的根目录。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移在源端信息配置的待迁移文件路径下/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。
下发命令到Edge失败。 问题分析 可能导致该问题的原因如下: 配置参数中的接入IP填写错误。 源端主机处于关机状态。 源端主机的IP或端口异常。 您可以通过查看Edge的Error日志文件确认具体的报错原因,Error日志文件的存储路径为:C:\Edge\logs\edge-server\error
config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 path 是 填写应用配置文件(yaml文件)的存储路径。 父主题: 采集器参数配置说明
与MgC建立连接的Edge工具。 执行机凭证 选择步骤4.在Edge侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my.ini文件的[mysqld]下,添加如下配置:
细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果DLI空间不足,可能会导致元数据
本文介绍如何使用迁移中心(MgC)的迁移方案配置功能和文件存储批量迁移模板,以高效完成文件存储的批量迁移工作。 源端支持的类型:NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_NFS_V3_MOUNT。 约束与限制 存储迁移的约束与限制
IAM用户由账号创建并管理,可以确保账号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有MgC使用权限的IAM用户。若您不需要使用IAM用户,可以略过此部分内容。 访问华为云,单击页面右上角的“控制台”,使用注册账号登录控制台。 在“控制台”页面,将鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选)
对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。 如表1所示,包括了MgC的所有系统策略。 表1 MgC系统权限 策略名称 描述
不支持源端路径为软链接路径的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。 不支持软连接的迁移:NAS_SMB的迁移、NAS_NFS到OBS的迁移。 NAS_NFS到NAS_NFS的迁移和阿里云 OSS到NAS_NFS的迁移,如果源
会一并安装。本节为您介绍升级采集器和添加新采集器的方法。 使用场景 离线升级:用于更新已安装的采集器。 手动升级:用于新增采集器或修改采集器配置文件后的更新。 前提条件 已下载并安装Edge,并完成用户注册。 离线升级 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“
根据MgC主机工作流中的资源名称,在迁移服务器列表找到对应的服务器,单击目的端列的“设置目的端”,进入迁移配置页面。 勾选高级配置后的“现在配置”,打开高级配置项。 单击“是否调整分区”配置项后面的“调整磁盘分区”按钮,弹出磁盘分区调整窗口。 根据工作流配置的目的端规格,调整目的端
作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小
源端主机为3核CPU,阈值计算为4核,因为4是大于3的最小2的幂次;源端主机为4核CPU,阈值则为8核,8是大于4的下一个2的幂次。 内存阈值计算规则:为源端主机内存的1.5倍。例如:源端主机内存为4 GB,则阈值计算为4 GB的1.5倍,即6 GB。 例如: 源端6U8G +
X实例提供了用户可自定义的精细化产品规格,用来最大化精确匹配用户业务的实际资源需求,以降低用户上云成本,避免资源浪费。为了降低用户选择或自定义X实例规格的复杂度,在迁移场景下,可借助MgC的源端主机性能采集功能,获取源端主机CPU和内存的实际使用情况,再基于性能的评估策略帮助您有效评
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
选择源端云平台,此处选择“华为云”。 是 凭证 选择在完成准备工作时添加的源端账号凭证,如未提前添加凭证,请单击“新建凭证”,认证方式选择“AK/SK”,输入源端账号的AK/SK,校验并保存凭证。 是 区域 选择要发现的源端云平台区域,支持多选。 是 在资源发现区域的资源类型下拉列表,选择“对