检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
归档存储(冷存储)数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案,例如,平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时,一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
GetInstanceList调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 调用阿里云RDS SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云RDS服务。 调用阿里云RDS schema SDK失败。 请参考阿里云资源管理产品文档进行API Descri
bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。 主机采集器
迁移后主机私有IP保持不变 迁移中心 MgC的主机迁移工作流,提供了保持IP不变功能,可以实现主机迁移后保持私有IP不变,减少因IP变动而需要对业务代码进行的修改工作。 免责声明 业务可用性风险 本功能旨在帮助用户在迁移后保持主机的私有IP地址与源端一致,但不保证切换IP后的业务
上云成本分析(凭证) 通过输入源端云平台凭证,可以自动完成源端云厂商消费账单分析,根据源端产品规格及用量自动匹配华为云上的产品及用量,并对比源端云厂商使用费用和华为云使用费用,为您云间迁移提供参考。 目前支持通过凭证进行上云成本分析的源端云厂商包括:AWS、阿里云。 进行上云成本
配置主机迁移方案 主机迁移方案是面向主机迁移工作流进行的一站式配置,能够实现批量评估和配置目的端主机规格。本节介绍为主机迁移配置迁移方案的方法。 准备工作 创建迁移项目。 通过资源采集,完成主机资源的发现与采集。MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解
用户自定义 元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选)
之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知 当执行求和操作(如sum或allsum)时,如果结果值的位数超过了Double类型的有效位数,会导致精度丢失。并且在处理非常大的数值时,由于浮点数的精度限制,可能会导致实际存在的差异因为超出了D
存大小等性能规格。 使用须知 开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到
file path: Records detailed information about the script's execution. RUN_LOG="$LOG_DIR/run.log" # Error log file path: Records any errors that
创建可用区迁移工作流 本节介绍如何使用可用区迁移标准模板创建可用区迁移工作流。 前提条件 已完成主机资源采集。 已将待迁移的主机资源关联应用,并已对应用内的主机进行规格评估。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择迁移项目。
请检查列表文件的状态,确保文件可读。如果文件状态正常且可读,请重试。如果依然无法解决问题,请联系技术支持人员或提交工单。 OMS.01016 列表文件中的行数超过默认值,默认值10w 请修改列表文件内容,使其行数小于100000行。 OMS.01017 列表文件的contentType属性无效,只能为text/plain
能采集的操作方法。 使用须知 开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到
采集AWS容器资源原理图 调用SDK:通过调用Amazon EKS服务提供的API,获取容器、虚拟机等资源信息。 接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。
file path: Records detailed information about the script's execution. RUN_LOG="$LOG_DIR/run.log" # Error log file path: Records any errors that
sh 无 功能类 getNetCards.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询网卡信息 sh getNetCards.sh 无 功能类 getNetcardsInfo.sh /Edge/to