检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时，不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向，确保对象的路径长度符合目的端系统的要求，以避免迁移失败或数据不一致的问题。
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"状态，因此在需要访
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
在实例列表，单击操作列的“查看监控指标”，可以查看资源实例的网络流入、流出带宽变化情况。 源端和目的端指标 源端和目的端指标包含的关键指标和说明参见下表。 厂商 指标 作用 说明 源端 请求QPS和流出流量 观察源端的请求处理速度(QPS)和流出流量，及时发现并应对潜在的性能瓶颈。 通过
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括：MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题： 规格评估
创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶（以下称为日志桶），实现对日志和内容校验结果的有效管理和分析。设置了日志桶后，会默认使用大数据校验中的日志上传功能，将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限：
功能概述 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
不覆盖：第一个同名对象迁移到OBS后，后续同名对象（无论URL是否相同）直接跳过不会被迁移，只保留第一个迁移的同名对象。 直接覆盖：后一个迁移的同名对象会覆盖前一个迁移的同名对象，只保留最后一个迁移的同名对象。 条件覆盖：对于后续迁移的同名对象，根据以下条件决定是否覆盖。 如果最后修改时间较新，则覆盖前一个同名对象。
oris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更
oris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时，“./install.sh” 所填写的地址。 SQL文件地址
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时，“./install.sh” 所填写的地址。 SQL文件地址
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
客户端，进行sql操作，出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时，由于分布式计算顺序的不确定性，可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值（1.7976931348623157E+308）的数据时，加上一个较小的数值（如2.0）可能会导致数
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证，类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxCompute项目名称。项目名称可在MaxCompute侧控制台获取。 Endpoint 输入MaxCompute服务所在地域的Endpoint信息。
MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC Agent主机的/etc/hosts文件中，配置连接才能连接成功。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
