检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下: 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。 对象列表文件行长度不超过16KB,否则迁移失败。
单击左侧导航栏“调研>上云调研”,进入“上云调研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 选中上云成本分析(凭证)框,单击“创建分析任务”按钮,右侧弹出“创建分析任务”窗口。 根据表1,配置参数。 表1 参数说明 参数 说明 任务名称 用户自定义。 云厂商 选择源端云厂商。 说明:
盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。更改磁盘规格后,系统会自动判断是否进行了磁盘缩容,在主机资源配置明细列表中的“磁盘缩容”列,“是”代表已缩容;“否”代表未缩容。 系统盘容量取值范围为:40 G~1024 G 数据盘容量取值范围为:10
obs:bucket:ListAllMyBuckets:获取桶列表 obs:bucket:ListBucket:列举桶内对象 更多权限介绍请参见权限管理。 操作步骤 在Edge凭证管理界面的桶配置区域,单击“配置”按钮,弹出“桶配置”窗口。 根据表1,配置日志桶。 表1 日志桶参数配置说明 参数 配置说明
填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。
如何监控和查看影响迁移速度的关键指标? 迁移集群指标 迁移集群包含的关键指标和说明参见下表。 指标 作用 说明 CPU使用率 监控CPU使用状态 迁移小文件时,该指标比较重要,建议CPU使用率接近但不超过90%。 外网络流入、流出速率 观察网络流量流入、流出速率变化情况 迁移大文件时,该指标比较重要,建议速率能达到2
01006 对象列表文件太大 请修改列表文件,使其小于300 MB。 OMS.01007 对象列表文件元数据未找到 请检查列表文件的元数据。 OMS.01008 URL解码失败 请检查列表文件中的url是否正确编码。 OMS.01009 资源路径无效 请检查列表文件路径是否正确。
在迁移集群区域,选择迁移使用的集群。默认使用迁移方案中配置的集群,您也可以在下拉列表中重新选择集群,选择后仅对当前工作流生效,不会修改迁移方案中配置的集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移
序依次自动执行工作流后续步骤。 如果您是首次使用MgC的主机迁移工作流,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 使用须知 在创建主机迁移工作流前,请仔细阅读并了解以下使用须知内容。 项目 须知 源端下载带宽 用于源端服务器下载迁移Agent。
当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。
Spark应用的Executor内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必需带单位,否则会启动失败。 driverCores 1-4 Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 driverMemory
“N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下,增加元数据连接的数量可以提高数据校验的效率。 为避免数据重复,除了步骤1.创建的第一个元数据连接以外,新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表,将源端数据表加入表组中。其中元数据连接选择步骤1
选择要迁移到的目的可用区。 单击“开始执行”,系统会自动采集当前账号下所选区域主机信息,并自动创建应用将主机加入到该应用内,开始迁移评估。 评估执行完成后,单击“关闭”按钮,进行工作流配置。 根据表1参数说明,配置工作流参数。 表1 参数说明 区域 参数 说明 工作流详情 名称 用户自定义
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称(在本文示例中为minioUrl/),注意要在文件夹名称后面加上“/”。 表3 目的端信息参数说明
前项目下拉列表中选择迁移项目。 首次添加时,在云边协同区域,单击“添加资源>主机”,弹出添加主机窗口。 非首次添加,在资源列表页面的主机页签,单击“添加”按钮,弹出添加主机窗口。 单击“添加资源”按钮,弹出添加主机窗口。 根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。
winrm/config/client '@{TrustedHosts="*"}' 出于安全考虑,建议使用源端服务器的WinRMhost(即主机名或IP地址)替换TrustedHosts 的值"*"。不替换代表信任任意主机。 测试远程连接。 使用以下命令测试与源端服务器的连接,“登录账号”和“源端服务器IP”需要
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称(在本文示例中为cephUrl/),注意要在文件夹名称后面加上“/”。 表3 目的端信息参数说明
在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用LTS服务时,会产生LTS