检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称
出现该问题的原因可能是您所选凭证的用户名和密码与源端主机不匹配。 解决方法 核对凭证信息。 请仔细检查凭证中的用户名和密码是否输入正确,包括大小写和特殊字符。 测试凭证有效性。 使用核对后的用户名和密码尝试登录源端主机,验证凭证的有效性。 如果可以登录,请更新在Edge上添加的源端主机凭证信息为核对后的信息,然后重新进行迁移准备度检查。
查看源端主机是否处于关机状态。 如果是,请将源端主机开机后重试。 如果否,请继续执行步骤3.。 在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口(如5985端口)是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口可以访问,请执行步骤4
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 配置完成后,单击“测试连接”按钮,系统会校验配置信息并与源端建立连接,测试通过代表连接成功。 测试连接通过后,单击“确认”按钮,创建元数据连接完成。 单击“元数据连接”,进入元数据采集页面。在连接管
例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 说明: 限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。
在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 步骤二:关联应用 如果在采集可用区主机资源的步骤6.已经为主机关联了应用,则可以跳过该步骤,进行下一步规格评估。
驱动。 源端服务器数量 简单批次最多同时迁移30台。 手动创建大批量迁移,单个项目最多同时迁移100台。 同时进行迁移的源端主机越多,迁移速度越慢。 源端服务器数据量 不支持迁移系统盘超过1T的服务器。 不建议迁移容量超过4T的服务器 源端服务器状态 不支持迁移处于“保留期”且为冻结状态的服务器。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建
例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 说明: 限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。
例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 说明: 限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。
推荐带宽:每台机器不低于30 Mbits/s。 共用带宽建议:若多台机器共用,平均不低于50 Mbit/s。 迁移带宽 重要性:影响数据传输速度和迁移时间。 推荐值与预估时长:详情请参见迁移需要多长时间? CPU和内存要求 内存:至少预留520 MB。 CPU:Linux系统预留不少于0
表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 匹配业务场景 以
支持以下两种运行模式: Yarn:适用于大型分布式环境,可以充分利用集群资源,提高任务的并行度和效率。 Local:适用于小规模数据集或开发测试环境,可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求,添加命令行参数。 命令参数(Delta Lake和Hudi配置参数) spark-sql命令
存储迁移的约束与限制有哪些? 使用迁移中心进行存储迁移的约束与限制参见表1和表2。 表1 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频
根据表1,配置评估策略。 表1 评估策略参数说明 参数 说明 购买区域 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。
的采集项。 单击采集项前的按钮,可以查看该采集项包含的采集数据源以及各资源类型的采集结果。 图5 采集结果 如果有采集失败的数据源,可以将鼠标放到数据源的采集状态上,查看失败原因。 在采集结果列,单击资源类型后的数量,可以跳转到对应的资源类型列表页面。 父主题: 简单项目
的采集项。 单击采集项前的按钮,可以查看该采集项包含的采集数据源以及各资源类型的采集结果。 图5 采集结果 如果有采集失败的数据源,可以将鼠标放到数据源的采集状态上,查看失败原因。 在采集结果列,单击资源类型后的数量,可以跳转到对应的资源类型列表页面。 父主题: 复杂项目
评估策略参数配置说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。 优先级设置 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。
根据表1,配置评估策略。 表1 评估策略参数说明 参数 说明 购买区域 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。